지피지기면 백전불태 3편 : 엔비디아가 200억 달러에 인수한 그록의 LPU

이 글은 엔비디아에 인수된 스타트업 그록(Groq)의 LPU(Language Processing Unit)에 대해 분석합니다. 창업자 조나단 로스는 구글 TPU 프로젝트의 핵심 멤버였으며, AI 추론 시장의 성장 가능성을 보고 그록을 창업했습니다.

그록의 LPU는 학습(Training)과 추론(Inference)을 모두 지원하는 GPU/TPU와 달리, 거대언어모델(LLM)의 추론 최적화에만 집중하여 설계되었습니다. AI 연산은 크게 가중치를 업데이트하는 학습과 고정된 가중치를 사용하는 추론으로 나뉘는데, 기존 GPU/TPU는 학습에 최적화되어 있어 추론 시장에서는 범용 칩의 한계가 존재합니다.

LPU는 이러한 추론 시장의 기회를 포착하여 탄생한 추론 전용 칩으로, 하드웨어 및 소프트웨어 설계 철학을 통해 엔비디아의 인수 의도를 분석합니다.