AI 플랫폼과 데이터 플랫폼을 이어주는 Alluxio 적용기

본 글은 네이버 검색에서 AI 플랫폼(AiSuite)과 데이터 플랫폼(C3)을 효과적으로 연결하기 위해 Alluxio를 적용한 경험을 공유합니다. 기존에는 데이터 저장소(Cuve)에서 처리 플랫폼(C3)을 거쳐 HDFS에 저장된 데이터를 AI 플랫폼에서 사용하는 방식이었으나, 이 과정에서 Kubernetes 환경에서 HDFS 접근의 복잡성과 사용 편의성, 이식성 문제가 발생했습니다.

이를 해결하기 위해 Alluxio를 도입하여 AI 플랫폼이 HDFS에 빠르고 쉽게 접근할 수 있도록 개선했습니다. Alluxio는 Kubernetes 환경에서 HDFS에 대한 접근성을 높이고, 데이터 파이프라인의 효율성을 증대시키는 솔루션으로 활용될 수 있습니다.