실시간 유효 광고 선정을 위한 Flink에서 Apache Paimon 도입기

이 글은 Apache Spark 기반의 AI 데이터 파이프라인 구축 경험을 공유하며, Apache Flink와 Apache Paimon을 도입하여 실시간 데이터 처리의 효율성을 높인 과정을 설명합니다. 특히, 유효 광고 선정을 위한 파이프라인 구축 사례를 통해 Paimon의 부분 업데이트, 타임 트래블, 데이터 조인, 집계, rowkind 재정의 등 다양한 기능을 활용하는 방법을 소개합니다.

또한, Flink와 Paimon을 연동하여 실시간으로 데이터를 적재하고 Feature Store에 반영하는 아키텍처를 제시하며, 일별 초기화가 필요한 캠페인 소진량 데이터를 실시간으로 처리하기 위한 스트리밍 조인 기법도 다룹니다. 이를 통해 빠르고 안정적인 실시간 데이터 처리 시스템 구축에 대한 인사이트를 제공합니다.