내부 데이터 파이프라인에 Kafka Streams 적용하기

LINE의 서버 개발 엔지니어가 내부 데이터 파이프라인과 talk-dispatcher 개선에 Apache Kafka와 스트림 프로세싱 기술을 적용한 경험을 공유합니다. Kafka는 디스크 기반 영속 저장과 클라이언트의 offset 관리를 통한 높은 처리량이 특징인 분산 메시징 시스템입니다.

글에서는 Kafka Streams를 활용하여 사내 시스템 간 이벤트 전달을 일원화하고 백그라운드 태스크 처리를 개선하는 과정에 대해 중점적으로 다룹니다. 초기에는 Apache Samza도 고려했으나, 핵심 인프라스트럭처 적용에 대한 염려로 다른 방안을 모색하게 됩니다.

이 글은 Kafka Streams를 실제 시스템에 적용하는 방법에 대한 실질적인 정보를 제공합니다.