당근의 AWS 기반 피처 플랫폼 구축 여정, Part 2: 피처 수집

이 글은 당근마켓이 AWS 기반으로 구축한 피처 플랫폼의 두 번째 이야기로, 피처 수집 파이프라인에 초점을 맞춥니다. 피처 플랫폼은 피처 서빙, 스트림 수집, 배치 수집으로 구성되며, 이번 글에서는 스트림 및 배치 수집 파이프라인과 다양한 이벤트 소스로부터 데이터를 온라인 스토어로 수집하는 방법을 상세히 설명합니다.

스트림 수집은 Amazon MSK를 메시지 브로커로 사용하고, Amazon EKS 상의 컨슈머가 이벤트를 가공하여 데이터베이스와 캐시에 적재하는 방식으로 이루어집니다. 이를 통해 실시간으로 데이터를 수집하고 피처로 가공하는 효율적인 시스템을 구축했습니다.