CDC 파이프라인 정합성 검사 Spark 잡 개발 - Part 1. 코드 설계편

카카오 데이터분석플랫폼 조직에서 운영 중인 300개 이상의 CDC 파이프라인의 데이터 정합성 검사를 위한 Spark 잡 개발 경험을 공유하는 글입니다. 데이터 유실, NULL 여부, 타입 차이 등 다양한 이슈 발생 가능성에 대비하여 데이터 신뢰성을 보장하는 것이 중요하며, 특히 신규 연동 파이프라인의 철저한 검증이 필수적입니다.

본 글(Part 1)에서는 Scala 기반 Spark 잡 코드의 설계 방안을 중심으로 다룹니다. 컴포넌트 상속 및 분리를 통한 유연하고 확장 가능한 구조 설계, 코드 품질 및 유지보수성 향상을 위한 디자인 패턴 적용 등을 설명합니다.

잡 제출 시 테이블 단위로 JSON을 정의하여 이슈 발생 시 개별 테이블 단위 감지 및 다른 잡에 대한 영향 최소화를 고려했습니다.