2조 토큰을 카테고리 분류에 쓰면서 알게된 것들

당근 Taxonomy 팀은 서비스 내 게시글을 자동으로 분류하기 위해 LLM을 활용하는 프로덕션 파이프라인을 구축했습니다. 이 글에서는 택소노미(Taxonomy)의 개념과 중요성을 설명하고, LLM을 카테고리 분류에 적용하면서 겪었던 성능, 비용, 운영 측면에서의 고민과 해결 과정을 공유합니다.

특히 2조 토큰 규모의 데이터를 처리하며 분류 품질을 높이기 위한 다양한 시도와 노하우를 다룹니다. 이를 통해 LLM 기반의 자동 분류 시스템을 실제 서비스에 성공적으로 적용한 사례를 보여줍니다.