다나와의 상품 색인 파이프라인

다나와 검색팀은 11억 건의 상품 데이터를 엘라스틱 서치로 관리하며, 실시간에 가까운 색인 처리를 위해 동적 색인 파이프라인을 운영하고 있습니다. 기존 파이프라인은 RabbitMQ에 대한 높은 의존성, 유지보수의 어려움, 데이터 유실 가능성 등의 문제점을 가지고 있었습니다.

이를 해결하기 위해 Logstash를 도입하여 서비스 마이그레이션 비용을 최소화하고 성능 및 안정성을 향상시키는 방안을 모색했습니다. Logstash는 다양한 형식의 데이터를 수집, 변환, 전송하는 기능을 제공하며, 특히 비구조적 데이터에서 구조를 추출하는 grok 기능을 통해 데이터 처리의 유연성과 효율성을 높일 수 있습니다.

본 글에서는 이러한 Logstash 도입의 필요성과 장점을 중심으로 설명합니다.