딥러닝 분산 플랫폼, C3DL

네이버는 딥러닝 연구 활성화에 따라 증가하는 GPU 자원 수요에 대응하기 위해 C3DL(common central cluster deep learning)이라는 딥러닝 분산 플랫폼을 개발했습니다. C3DL은 GPU 자원을 효율적으로 배분하고, Caffe, TensorFlow, Torch 등 다양한 딥러닝 프레임워크를 지원하며, 분산 훈련 및 추론 기능을 제공합니다.

초기에는 게시판 기반으로 GPU 자원을 관리했으나, 효율적인 자원 분배와 사용률 증대를 위해 동적 할당이 가능한 플랫폼으로 발전했습니다. 이 글에서는 C3DL 개발 및 운영 과정에서 발생한 요구사항과 이를 반영하기 위해 적용된 기반 기술들을 다룹니다.