카카오스타일의 Amazon SageMaker 분산 훈련을 활용한 카테고리 자동 분류 시스템 모델 구축 사례

카카오스타일의 Vision & NLP 팀은 지그재그 서비스에 등록되는 상품들의 카테고리 입력률을 높이기 위해 카테고리 자동 분류 시스템 모델을 구축했습니다. 이 프로젝트는 상품명, 설명, 이미지 등 메타 정보를 활용하여 상품을 자동으로 분류하는 것을 목표로 합니다.

2천만 개 이상의 상품과 변화하는 카테고리 구조로 인해 모델 갱신 및 대량 데이터 훈련에 많은 시간이 소요되는 문제를 해결하기 위해, Amazon SageMaker의 분산 훈련 기능을 도입했습니다. 이를 통해 훈련 시간을 단축하고 컴퓨팅 비용 및 모델 관리 효율성을 개선하여, 사용자에게 더 나은 플랫폼 경험을 제공하는 데 기여했습니다.

특히 LLM 및 트랜스포머 기반 모델의 활용 가능성을 탐색하며 기술적 진보를 이루었습니다.