Apache Flink + RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 일주일까지 확장하기

토스 Data Service Platform Team은 광고 노출 횟수를 1분부터 7일까지 실시간으로 집계하는 시스템을 구축했습니다. 기존에는 짧은 구간은 Flink, 장기 구간은 Airflow 배치로 운영했으나, 장기 구간까지 Flink로 확장하여 실시간 집계의 정확성과 효율성을 높였습니다.

이를 위해 집계 로직을 세 개의 Flink 앱(Minutes/Hours/Days)으로 분리하고, 각 앱의 병목 현상을 해결하기 위해 Apache Flink와 RocksDB 튜닝을 진행했습니다. 이 과정에서 발생한 다양한 이슈들을 해결하며 시스템을 안정화하고, 광고 시스템 운영의 비즈니스 오차를 줄이는 성과를 달성했습니다.

이 글은 이러한 확장 및 튜닝 과정을 상세히 기록하고 있습니다.