데이터 엔지니어의 Airflow 데이터 파이프라인 CI 테스트 개선기

버즈빌 데이터 엔지니어 Abel이 데이터 파이프라인 CI 테스트에 소요되는 시간을 7분대에서 3분대로 단축한 경험을 공유합니다. 기존 CI 테스트는 데이터 파이프라인 추가 과정에서 사람의 실수를 감지하기 위해 Pull Request 생성 시 자동으로 실행되었으나, 넓은 영향 범위로 인해 개선 우선순위가 낮았습니다.

벨로시티 스프린트 기간을 활용하여 CI 테스트의 각 단계를 분석하고, 특히 ECR 로그인, 이미지 빌드, 코드 스타일 검사(flake8), 타입 검사(mypy) 등의 과정을 최적화하여 전체 테스트 시간을 획기적으로 줄였습니다. 이를 통해 데이터 파이프라인 관리자들의 개발 효율성을 크게 향상시켰습니다.