KsqlDB를 활용한 증권사의 실시간 데이터 처리하기

토스증권 Realtime Data Team은 Kafka, Kafka Connect, Clickhouse와 함께 ksqlDB를 활용하여 실시간 데이터 처리 플랫폼을 운영하고 있습니다. 초기에는 배치 작업으로 시작했지만, 서비스 고도화에 따라 실시간 데이터 처리의 필요성이 대두되었습니다.

Spark Streaming, Flink와 같은 후보군 중 ksqlDB를 선택한 이유는 SQL만으로 개발이 가능하여 생산성이 높고, Job 배포 및 모니터링이 단순하며, Kafka Ecosystem과의 높은 호환성 때문입니다. 특히, 단독 운영 환경에서 SQL 기반 개발은 생산성을 10배 이상 향상시켰으며, Kafka에 대한 이해를 바탕으로 ksqlDB를 효과적으로 운영할 수 있었습니다.

이를 통해 토스증권은 서비스 오픈 초기 계좌개설 이벤트 등 다양한 상황에서 발생하는 문제들을 해결하며 실시간 데이터 처리 역량을 강화했습니다.