메달리온 아키텍처로 Tableau Prep 대체하기

이 글은 펫프렌즈 데이터팀에서 메달리온 아키텍처를 기반으로 데이터 웨어하우스를 개발하며 겪었던 문제와 해결 과정을 공유합니다. 메달리온 아키텍처는 브론즈, 실버, 골드 레이어로 구성되어 데이터 품질을 점진적으로 향상시키는 데이터 디자인 패턴입니다.

글에서는 AWS EMR, Apache Spark, AWS MWAA, Apache Airflow 등의 기술 스택을 활용했으며, 메달리온 아키텍처 적용 과정에서 발생한 기술 부채, 파트별 작업, 그리고 실제 적용 결과와 향후 계획을 다룹니다. 특히 파이썬의 Null 처리, Parquet 파일 형식, Pandas 데이터프레임의 int64와 None 혼용, 날짜/타임스탬프 사용, Tableau 내부 함수 사용 시 주의사항을 상세히 설명하며, 데이터 엔지니어링 실무에 유용한 인사이트를 제공합니다.