데이터 디스커버리 플랫폼 도입기 - 2편. GKE에 Datahub 구축하기

쏘카 데이터 플랫폼 팀에서 Datahub를 GKE 환경에 배포하고 메타데이터 주입 파이프라인을 자동화하는 과정을 다룬 글입니다. 1편에서 Datahub를 선택한 배경을 설명한 후, 2편에서는 GKE에 Datahub를 안정적으로 배포하는 방법, CloudSQL DB 마이그레이션, Keycloak을 이용한 인증 연동, 그리고 Airflow를 활용한 메타데이터 주입 자동화 및 권한 축소 방안을 상세히 소개합니다.

MySQL과 BigQuery 등 다양한 데이터 소스의 특성을 고려한 메타데이터 주입 파이프라인 구축과 데이터 유실 방지, CI/CD를 통한 배포 자동화 등 메타데이터 플랫폼 도입 시 고려해야 할 실질적인 문제 해결 과정을 공유합니다.