CDC 파이프라인 정합성 검사 Spark 잡 개발 - Part 2. Spark 최적화편

카카오 데이터분석플랫폼 조직에서 개발한 CDC 파이프라인의 정합성 검사 Spark 잡(Job) 개발 경험을 공유하는 글입니다. Part 1에 이어 Part 2에서는 Spark 환경에서 잡을 빠르고 안정적으로 동작시키기 위한 최적화 전략에 초점을 맞춥니다.

매일 수백 개의 잡과 수억 건의 대용량 데이터를 처리해야 하는 정합성 검사의 특성상 성능 최적화가 필수적이며, MySQL과 Iceberg 등 이기종 데이터소스 간 비교를 위해 Spark를 선택한 이유와 함께 각 데이터소스에 맞는 최적화 방안을 상세히 설명합니다. 특히 MySQL 스캔 모드에 따른 최적화와 Spark의 병렬 처리 능력, DataFrame 추상화를 통한 로직 공통화 등 실제 운영 노하우를 공유합니다.