지피지기면 백전불태 4편 : 메모리 용량 병목과 NVIDIA ICMS

이 글은 LLM 추론 시 발생하는 새로운 병목 현상인 KV 캐시 용량 문제를 해결하기 위한 NVIDIA의 솔루션인 ICMS(Inference Context Memory Storage)와 이를 관리하는 Bluefield-4 DPU에 대해 설명합니다. 기존에는 메모리 대역폭이 병목이었다면, 이제는 LLM의 컨텍스트 길이가 길어짐에 따라 메모리 용량 자체가 병목이 되고 있습니다.

NVIDIA는 이를 해결하기 위해 DPU를 활용한 새로운 계층의 스토리지인 ICMS를 제안하며, 이는 LLM 추론 성능 향상에 중요한 역할을 할 것으로 기대됩니다. 글에서는 Rubin 플랫폼과 같은 NVIDIA의 최신 하드웨어 구성 요소를 소개하며 ICMS와 DPU의 기술적 원리를 심층적으로 다룹니다.