AWS Inferentia를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 2탄

이 글은 AWS Inferentia를 실제 서비스에 도입하기 위한 과정, 특히 모델 서빙 비용 최적화에 초점을 맞춥니다. 지난 글에서 Inferentia의 소개와 GPU와의 성능 비교를 다룬 데 이어, 이번 글에서는 정합성 검증 과정을 상세히 설명합니다.

Inferentia는 BF16 mixed precision을 지원하여 모델 정확도를 유지하면서 추론 속도를 높일 수 있습니다. BF16은 FP32 대비 메모리 사용량을 절반으로 줄이면서도 표현 범위는 동일하지만, 정확도가 약간 떨어질 수 있습니다.

이를 검증하기 위해 KLUE STS 태스크를 사용하여 GPU(FP32)와 Inferentia(BF16) 환경에서의 모델 정확성을 비교하는 실험 세팅을 소개합니다. 이를 통해 추론 속도와 모델 정확도 간의 trade-off를 확인하고 실제 서비스 적용 가능성을 검토합니다.