컬리 검색이 카프카를 들여다본 이야기 2

컬리 검색팀은 대규모 시스템 개편에 따라 검색 인덱싱 파이프라인 구조를 변경하며 카프카 스트림즈를 도입한 경험을 공유합니다. 기존에는 두 가지 정보를 구독하여 검색 엔진 외부에서 하나의 메시지로 조합하는 요구사항을 해결하기 위해 Redis를 중간 저장소로 활용했으나, 더 효과적이고 단순한 방법을 찾던 중 카프카 스트림즈를 발견했습니다.

이 글에서는 같은 키를 공유하는 서로 다른 토픽의 메시지를 조합하여 하나의 메시지를 완성하고 유통하는 카프카 스트림즈 적용 과정을 기록합니다. 카프카 스트림즈는 카프카에 저장된 데이터를 처리하고 분석하는 클라이언트 라이브러리로, 진입 장벽이 낮다는 장점을 가지고 있습니다.