검색엔진의 Analyzer, 형태소분석기 ≠ 토크나이저

본 글은 요기요 Search Platform 팀에서 검색엔진의 핵심 모듈인 Analyzer에 대해 설명합니다. 검색엔진은 역색인 구조를 사용하여 빠른 검색 결과를 제공하며, 이를 위해 사용자의 입력 키워드를 Term이라는 용어로 추출하는 과정이 필요합니다.

이 추출 과정을 Analysis라고 하며, Analyzer 모듈이 담당합니다. Analysis는 Character-Filtering, Tokenizing, Token-Filtering의 3단계로 나뉩니다.

특히, Analyzer는 형태소분석기나 토크나이저와는 다른 개념이며, 검색엔진의 성능과 정확도에 중요한 역할을 합니다. 글에서는 이러한 용어들의 정의와 차이점을 명확히 하여 검색엔진의 기본적인 작동 원리를 이해하도록 돕습니다.