AWS Glue ETL을 활용한 CRM 데이터의 효율적인 병렬처리 전략

노티플라이는 CRM 마케팅 솔루션 운영 시 발생하는 대규모 고객사 데이터를 효율적으로 처리하기 위해 AWS Glue ETL을 활용한 새로운 파이프라인을 구축했습니다. 기존에는 Amazon Aurora PostgreSQL과 Amazon Athena를 직접 쿼리하는 방식으로 인해 데이터 확인 지연, 비용 증가, 데이터 불일치 문제가 발생했습니다.

이를 해결하기 위해 AWS Glue ETL을 도입하여 고객사별 캠페인 성과 데이터를 정기적으로 집계하고, 병렬 처리를 통해 데이터 처리 속도와 정확성을 높였습니다. 또한, 확장성과 비용 효율성을 고려한 자동화된 시스템을 구현하여 운영 부담을 줄이고 신속한 의사결정을 지원하는 것을 목표로 합니다.

이 글은 이러한 ETL 파이프라인 구축 과정과 그 필요성에 대해 설명합니다.