쿠버네티스 네이티브 워크플로를 이용한 대용량 스트리밍 파이프라인 검증 자동화 - 1편

LINE 광고 플랫폼은 하루 수십억 건 이상의 광고를 송출하며, 이를 위한 대용량 스트리밍 파이프라인은 실시간 데이터 수집, 가공, 저장, 재전송 등 복잡한 역할을 수행합니다. 초당 수십만 건의 이벤트를 지연 없이 처리하고, 플랫폼 성장에 맞춰 확장 가능하며, 장애 시 자동 복구 및 다운타임 없는 안정적인 운영이 필수적입니다.

대용량 스트리밍 파이프라인은 분산 시스템의 특성상 데이터 순서 보장 어려움, 구성 요소별 성능 차이, 리소스 산정의 복잡성, 병목 및 장애 지점 다양화, 실시간 재현의 어려움 등의 문제를 안고 있습니다. 본 글에서는 이러한 문제들이 LINE 광고 스트리밍 파이프라인에서 어떻게 나타났고, 쿠버네티스 네이티브 워크플로를 활용한 검증 자동화를 통해 어떻게 해결해 나갔는지 공유합니다.