DynamoDB 데이터 변경 이벤트 파이프라인 구축하기 (feat. Kinesis)

당근마켓 라이브 스트리밍 채팅 데이터를 활용하기 위한 DynamoDB 데이터 변경 이벤트 기반 파이프라인 구축 경험을 공유합니다. 이 글은 DynamoDB, Kinesis Data Streams, Kinesis Data Firehose, Lambda, S3를 활용하여 AWS 네이티브 이벤트 파이프라인을 구축하는 과정을 상세히 설명합니다.

라이브 스트리밍에서 발생하는 채팅 메시지를 방송 다시보기, 데이터 분석 등 다양한 목적으로 활용하기 위해, 데이터가 생성되면 자동으로 변환, 저장, 조회하는 자동화된 파이프라인의 필요성을 강조합니다. 특히 DynamoDB의 변경 이벤트를 활용하여 실시간으로 데이터를 처리하고 저장하는 방법을 중심으로 다루며, 관련 기술 스택에 대한 이해를 높이고자 하는 개발자들에게 유용한 정보를 제공합니다.