Airflow 환경 Docker compose로 containerization하기

이 글은 데이터 엔지니어링 팀의 신입 개발자가 Airflow 환경을 Docker Compose를 사용하여 컨테이너화하는 과정을 공유합니다. 기존 로컬 개발 환경과 프로덕션 환경 간의 차이로 인해 발생하는 문제를 해결하고, 개발 및 디버깅 효율성을 높이기 위해 Docker 기반 환경 구축을 목표로 합니다.

Docker를 사용하면 로컬 환경의 영향을 최소화하고, 프로덕션 환경과 유사한 환경에서 일관된 테스트를 수행할 수 있습니다. 또한, Python 가상 환경 관리의 복잡성과 OS 차이로 인한 문제를 줄일 수 있습니다.

글에서는 Airflow의 기본 개념과 함께 왜 Docker Compose를 선택했는지, 그리고 개발 환경 설정 방법에 대해 설명하며, 이를 통해 팀 생산성 향상에 기여한 경험을 공유합니다.