토스증권의 수천 개 실시간 데이터 파이프라인 운영방법 #1: Visualize Lineage

토스증권은 서비스 성장에 따라 수천 개의 실시간 데이터 파이프라인을 운영하며 대규모 데이터 처리 경험을 쌓아왔습니다. 실시간 데이터 파이프라인은 데이터 양 증가로 인한 배치 처리의 한계를 극복하고, CQRS 아키텍처 적용 시 OLTP 데이터베이스의 부담을 줄이며 데이터를 OLAP 데이터베이스로 실시간 이동시키는 핵심 역할을 수행합니다.

또한, 사용자에게 실시간 시황 반영 콘텐츠를 제공하는 등 성숙한 서비스 요구사항을 충족시키는 데 필수적입니다. 이 글은 이러한 대규모 실시간 데이터 파이프라인을 구성하고 운영해 온 경험을 공유하며, 데이터 처리의 효율성과 서비스 반응성을 높이는 방안을 모색합니다.