Redshift DW에서 PG DM을 만드는 여정

이 글은 AWS S3에 저장된 원시 데이터를 Athena로 쿼리하는 방식의 비효율성을 해결하기 위해 Redshift 기반의 데이터 웨어하우스(DW)를 구축하고, 이를 활용하여 PostgreSQL 기반의 데이터 마트(DM)를 만드는 과정을 다룹니다. 기존 S3+Athena 조합은 비용과 속도 측면에서 불리했으며, 특히 람다를 통한 쿼리 수행 시 발생하는 비용 문제가 컸습니다.

Redshift를 도입하여 데이터 웨어하우스를 구축한 후, PostgreSQL 데이터 마트를 만들기 위한 여정을 시작합니다. 초기 Redshift 사용 시 Hash Join으로 인한 CPU 사용량 증가 및 세션 끊김 현상이 발생했지만, Hash Join의 원리를 이해하고 최적화 방안을 모색하며 효율적인 데이터 처리 시스템을 구축해 나가는 과정을 설명합니다.