MRT Public Data Service 개발 — 2

이 글은 마이리얼트립의 Public Data Service (PDS) 개발 과정을 공유합니다. PDS는 다양한 출처의 데이터를 재가공하여 실시간 및 배치성 지표를 제공하는 서비스입니다.

핵심 기술로는 Kafka Streams와 Druid를 사용하며, 특히 Kafka Streams는 CDC로 수집된 서비스 DB 데이터를 Druid에 색인하고 API로 제공하는 데 활용됩니다. Kafka Streams는 가볍고 Kafka와의 호환성이 뛰어나며, Streams DSL을 통해 데이터 변환 및 조인 연산을 쉽게 적용할 수 있다는 장점이 있습니다.

이 글은 Kafka Streams의 특징과 PDS에서의 활용 사례를 중심으로 설명하며, 실시간 데이터 처리 및 API 제공을 위한 백엔드 시스템 구축에 대한 인사이트를 제공합니다.