FMS(차량 관제 시스템) 데이터 파이프라인 구축기 1편. 스트리밍/배치 파이프라인 개발기

쏘카 데이터 플랫폼 팀에서 신사업 FMS(차량 관제 시스템) 서비스의 PoC 데이터 파이프라인 구축 경험을 공유하는 글입니다. 제한된 시간 내에 간결하고 관리 비용을 최소화하는 아키텍처 설계를 목표로 했습니다.

본 글에서는 IoT 데이터 파이프라인의 주요 구성 요소와 기술 스택 선택 이유를 설명하며, 특히 AWS 기반 환경에서 스트리밍 파이프라인(IoT Core에서 Kafka로)과 배치 처리 플랫폼 구축 과정을 다룹니다. Kafka Connect를 활용한 메시지 소비 및 데이터 변환/적재 방식도 소개하여 실시간 데이터 파이프라인 구축에 관심 있는 엔지니어들에게 유용한 정보를 제공합니다.