다나와 검색의 색인 최적화 사례

다나와 검색팀은 10억 개 이상의 방대한 상품 데이터를 실시간으로 최신화하기 위해 동적 색인 방식을 사용합니다. 최근 에누리와의 통합으로 상품 데이터 유입량이 급증하면서 Elasticsearch 클러스터에 CPU 부하 급증, 잦은 샤드 이동 및 미할당, 색인 요청 거절로 인한 데이터 불일치, 검색 API 응답 속도 지연 등의 문제가 발생했습니다.

원인 분석 결과, 과도한 세그먼트 생성으로 인한 Disk I/O 증가와 색인 서버의 비효율적인 버퍼 사용이 주요 문제로 파악되었습니다. 이 글은 이러한 문제 상황과 원인 분석 내용을 공유하며, 향후 개선 방향을 모색하는 데 초점을 맞추고 있습니다.