네오사피엔스의 AWS g6e 기반 LLM 추론 배치 워크로드 최적화 사례

네오사피엔스는 AI 음성 합성 서비스 타입캐스트 운영에 필수적인 LLM 추론 성능 최적화를 위해 AWS의 다양한 GPU 인스턴스(g5, g6e, g7e)와 정밀도(INT8, FP8 등), 배치 크기, 트래픽 분포 등의 복합적인 요소를 고려한 최적화 사례를 공유합니다. "정밀도를 낮추면 빨라진다"는 단순한 접근을 넘어, 실제 운영 환경의 제약과 사용자 체감 성능을 종합적으로 분석했습니다.

특히 TensorRT-LLM을 활용하여 배치 크기 변화에 따른 처리량과 첫 토큰 지연시간을 측정하고, 이를 실제 서비스 조건에 대입하여 "벤치마크와 프로덕션 사이의 간극"을 설명합니다. 최종적으로 네오사피엔스는 g6e 인스턴스와 INT8 정밀도 조합이 가장 균형 잡힌 선택임을 확인했으며, 이는 단일 GPU 성능뿐 아니라 시스템 전체의 사용자 경험과 운영 안정성을 고려한 결과입니다.