Nota AI가 제안하는 AWS Inferentia에서 다양한 LLM 모델 양자화 최적화기법 사용하기

Nota AI는 AWS Inferentia 및 Trainium 칩에서 LLM 모델의 추론 성능과 메모리 효율성을 극대화하기 위한 양자화 최적화 기법을 소개합니다. 이 글에서는 Nota AI의 플랫폼인 NetsPresso를 기반으로, AWS가 제공하는 NeuronX Distributed (NxD) Inference 라이브러리를 활용하여 LLM 모델을 최적화하는 방법을 다룹니다.

NxD Inference는 int8, fp8 (fp8e4m3, fp8e5m2) 등 다양한 양자화 옵션을 지원하며, per_tensor_symmetric 및 per_channel_symmetric 방식을 통해 정확도 손실을 최소화하면서 처리량(throughput)을 높이는 방안을 제시합니다. Mistral-12B 모델을 예시로 int8 및 fp8 양자화를 적용하는 코드 예제도 포함되어 있습니다.