Apache Flink 어플리케이션의 End-to-End Latency 병목 찾아내기

본 글은 Apache Flink 애플리케이션의 End-to-End Latency를 줄이기 위한 병목 지점 진단 및 개선 과정을 다룹니다. Azar 서비스의 핵심인 Flink 애플리케이션에서 사용자 만족도와 직결되는 낮은 지연 시간 확보를 위해, Flink operator 단위로 상세 지표를 수집하고 관찰하는 Application Level 단계와, 느린 operator에 대한 프로파일링 및 코드 레벨 검사를 수행하는 Operator Level 단계로 나누어 설명합니다.

특히, 처리 시간과 처리 외 시간으로 구분된 히스토그램 지표를 활용하여 병목의 원인을 정확히 파악하고, 이를 기반으로 효과적인 성능 개선 방안을 도출하는 방법을 제시합니다.