How We Pipe Data

이 글은 버즈빌에서 1,700만 명 이상의 사용자 행동 데이터를 수집하고 분석하기 위해 구축한 데이터 파이프라인 구축 경험을 공유합니다. 다양한 소스와 데이터베이스(MySQL, DynamoDB, Redis, S3 등)에 흩어진 데이터를 Redshift라는 데이터 웨어하우스로 통합하는 과정을 설명합니다.

Redshift는 열 기반 스토리지, 분산 저장 방식, 빠른 데이터 수집 속도, 수평적 확장성 등의 장점으로 인해 버즈빌의 데이터 통합 솔루션으로 선택되었습니다. 글은 데이터 수집 및 저장 방식과 통합 파이프라인 구축의 어려움 및 해결 과정을 다루며, 대규모 데이터 처리를 위한 기술적 고민과 솔루션을 제시합니다.