Config의 Amazon EKS Spot 기반 대규모 RFM 데이터 파이프라인 구축

Config는 General-Purpose Robot Foundation Model(RFM)을 위한 데이터 인프라를 구축하는 기업으로, 대규모 학습 데이터 수집부터 전처리, 모델 학습, 실환경 검증까지 이어지는 end-to-end 파이프라인을 운영합니다. 특히, 사람이 수행한 조작 영상으로부터 로봇 정렬 액션을 추정하는 독자적인 파이프라인을 통해 로봇 데이터 수집 비용을 절감하고 효율적으로 데이터를 확보합니다.

본 글에서는 기존 Amazon SQS + AWS Lambda 기반의 데이터 전처리 파이프라인을 Amazon EKS + Amazon EC2 Spot Instances + RabbitMQ + KEDA 기반으로 마이그레이션하여 처리 비용을 70~90% 절감하고 처리 시간을 수 일에서 수 시간으로 단축한 과정을 공유합니다. RFM 학습을 위한 필수적인 전처리 과정은 크게 액션 라벨링과 데이터 세그먼트 분할 및 상태 데이터 정렬 작업을 수행합니다.