kakao의 오픈소스 Ep9 – Khaiii : 카카오의 딥러닝 기반 형태소 분석기

카카오에서 개발한 오픈소스 형태소 분석기 khaiii(Kakao Hangul Analyzer III)를 소개하는 글입니다. khaiii는 딥러닝 기술 중 CNN(Convolutional Neural Network)을 사용하여 세종 코퍼스로 학습되었으며, 기존의 규칙 기반 분석기와 달리 데이터 기반으로 동작합니다.

C++로 디코더를 구현하여 GPU 없이도 빠른 성능을 제공하며 Python 바인딩을 지원하여 사용 편의성을 높였습니다. 형태소 분석은 자연어 처리의 가장 기초적인 단계로, khaiii는 오픈소스 생태계를 통해 자연어 처리 연구에 기여하고 발전에 도움을 받고자 합니다.

약 85만 개의 문장과 1천만 개의 어절로 구성된 코퍼스를 활용하여 학습되었으며, 속도 또한 중요한 요소로 고려되었습니다.