고성능 GPU 클러스터 도입기 #2: 이주하는 데이터

토스증권에서 LLM 개발을 위해 고성능 GPU 클러스터를 구축한 경험을 공유하는 글입니다. LLM과 같은 대규모 모델은 단일 GPU에 담기 어려워 수십, 수백 개의 GPU를 연결하는 클러스터 구축이 필수적입니다.

이 과정에서 발생하는 '통신 비용'이 전체 성능에 큰 영향을 미치며, CPU-GPU, GPU-GPU, 서버 간 GPU 통신 등 세 가지 주요 통신 비용을 최적화하는 것이 중요합니다. 소프트웨어적인 방법론 외에도 NVLink, NVSwitch, InfiniBand와 같은 하드웨어 기술을 통해 통신 시간을 단축하고 클러스터 성능을 향상시키는 방안을 제시합니다.

하드웨어 지원 없이는 소프트웨어 최적화가 효과적이지 않거나 불가능할 수 있음을 강조하며, 실제 하드웨어 구성 방안에 대한 설명을 이어갑니다.