하이퍼엑셀(HyperAccel), Amazon EC2 F2 Instance 기반 LPU로 고효율 LLM 추론 서비스 구축

본 글은 하이퍼엑셀이 Amazon EC2 F2 인스턴스와 FPGA 기반 LPU(LLM Processing Unit) 아키텍처를 활용하여 고효율 LLM 추론 서비스를 구축한 사례를 소개합니다. EC2 F2 인스턴스는 FPGA를 기반으로 특정 연산에 최적화된 하드웨어 가속을 제공하여 범용 프로세서 대비 높은 성능과 전력 효율을 자랑합니다.

하이퍼엑셀은 이러한 F2 인스턴스의 특성을 활용해 기존 물리 서버 기반 LPU 환경을 AWS 클라우드로 확장, 고객이 온디맨드 방식으로 LPU의 성능을 활용할 수 있도록 지원했습니다. 이를 통해 PoC 운영 효율성을 높이고 비용 구조를 개선하는 성과를 거두었습니다.

LPU는 트랜스포머 모델 연산에 맞춰 설계되어 A100 GPU 대비 높은 추론 처리량과 전력 효율을 제공하며, LLM 도입 기업들의 비용, 전력 소모, 확장성 문제를 해결하는 데 기여합니다.