Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 3편 - RunInference로 모델 추론하기

이 글은 Apache Beam을 활용하여 대규모 머신러닝 데이터 파이프라인을 구축하는 3편으로, 특히 RunInference를 사용하여 모델 추론을 수행하는 방법에 초점을 맞춥니다. 핑퐁팀은 이루다 서비스에서 사용자의 요청에 따라 실시간으로 모델을 추론하는 Live Inference와 주기적으로 대량의 데이터를 처리하는 Bulk Inference 방식을 사용하며, 데이터 양에 따라 확장 가능한 리소스 할당 방안을 고민합니다.

본문에서는 Bulk Inference 시나리오에서 Apache Beam과 RunInference를 활용하여 대규모 데이터셋에 대한 모델 추론을 효율적으로 수행하는 방법을 다룹니다. 이전 글에서 다룬 Apache Beam의 도입, 사용법, 개발 및 최적화에 이어, 이번 글은 ML Engineering 관점에서 대규모 모델 추론을 위한 구체적인 구현 방안을 제시합니다.