Backend화해의 Data Warehouse를 소개합니다
화해팀은 데이터를 더 쉽게 활용하고 데이터 기반 의사결정을 지원하기 위해 Data Warehouse(DW) 구축 과정을 소개합니다. 초기에는 여러 DB에서 데이터를 추출하여 로컬에서 합치는 방식으로 분석했지만, 운영 DB 부하, 로컬 리소스 문제, 데이터 추출 시간 소요 등의 어려움이 있었습니다. 이를 해결하기 위해 AWS Redshift를 활용하여 Data Lake를 구축하는 단계를 거쳤습니다. Phase 0에서는 원천 데이터만 활용했으며, Phase 1에서는 Redshift에 주요 원천 데이터를 스키마와 거의 동일하게 저장했습니다. 이 과정에서 필요한 데이터의 테이블, 컬럼, JOIN Key 등을 파악하고 쿼리를 작성해야 하는 불편함이 있었습니다. 본 글은 이러한 문제점들을 해결하고 효율적인 데이터 활용 환경을 구축해 나가는 화해팀의 고민과 과정을 담고 있습니다.
Data WarehouseData LakeRedshift
