AI 실시간 추천 시스템을 위한 Flink 기반 스트림 조인 서비스 구축기

Azar는 AI 기반 실시간 매칭 시스템의 추천 품질 향상을 위해 Flink KeyedProcessFunction을 활용한 스트림 조인 서비스 구축 경험을 공유합니다. 유저의 다양한 이벤트를 실시간으로 조합하여 추천에 활용해야 하는 요구사항을 충족시키기 위해, Spark Streaming과 Kafka Streams 등 여러 기술을 검토한 후 Flink를 최종 선택했습니다.

특히, 밀리초 단위의 낮은 지연 시간, Exactly Once Semantics 보장, Zero downtime 배포라는 비기능 요구사항을 만족시키는 데 중점을 두었습니다. 이를 통해 파편화된 실시간 이벤트를 효과적으로 조합하고 안정적으로 추천 데이터를 제공하는 시스템을 구축했습니다.