MoA(Mixture-of-Agents, 에이전트 혼합 기법), LLM 성능을 향상시키기 위한 새로운 기법

이 글은 LLM의 성능을 향상시키기 위한 새로운 기법인 MoA(Mixture-of-Agents, 에이전트 혼합 기법)를 소개합니다. MoA는 여러 LLM의 강점을 결합하여 집단적 전문 지식을 활용하는 방식입니다.

기존의 전문가 혼합(MoE) 기법이 학습 시점에 여러 전문가 모델을 포함하고 추론 시 일부만 활성화하는 방식이라면, 깊이 혼합(MoD) 기법은 활성화되는 레이어를 줄이는 방식입니다. MoA는 이러한 기법들과 함께 논의되며, 개별 LLM의 성능 확장에는 많은 비용이 들기 때문에 여러 모델의 장점을 모아 효율적으로 성능을 높이는 접근 방식의 중요성을 강조합니다.