TFX 머신러닝 파이프라인 사용하기

이 글은 핑퐁팀에서 루다의 대화 성능 향상을 위해 Continual Learning 연구에 필요한 학습 파이프라인을 TFX를 활용하여 구축한 경험을 공유합니다. 기존에 사람이 직접 개입하여 비효율적이었던 데이터 학습 및 평가 과정을 자동화하기 위해 TFX를 도입했으며, 특히 사내 시스템과 연동하기 위한 TFX 커스텀 컴포넌트 구현에 초점을 맞춥니다.

TFX는 TensorFlow를 기반으로 데이터 가공부터 학습, 검증, 서빙까지 파이프라인 형태로 지원하는 프레임워크입니다. 핑퐁팀은 TFX의 모든 컴포넌트를 사용하기보다, Apache Beam을 활용한 Dataset Registry 연동 컴포넌트(`DatasetsExampleGen`)와 같이 내부 시스템에 맞게 커스터마이징하여 효율적인 머신러닝 엔지니어링 환경을 구축했습니다.