컬리 검색이 카프카를 들여다본 이야기 1

컬리 검색팀은 검색 인덱싱 파이프라인 구조 개편 과정에서 카프카 설정 튜닝을 통해 메시지 처리 스루풋을 높이고 불필요한 시스템 동작을 방지한 경험을 공유합니다. 기존에는 단일 토픽으로 상품 정보를 받아 검색 엔진에 인덱싱했지만, 요구사항 고도화로 여러 토픽의 메시지를 조합해야 하는 새로운 아키텍처가 필요해졌습니다.

1차 구현안으로 레디스를 활용하여 복수의 메시지를 조합하려 했으나, 메시지 처리 속도 저하와 컨슈머 그룹 리밸런싱 문제로 인해 상품 데이터가 제때 색인에 반영되지 못하는 상황이 발생했습니다. 본 포스팅은 이러한 문제 해결을 위한 카프카 설정 튜닝 과정을 다룹니다.