Multi-modal 감정 인식 AI 모델 개발 - 연구과정(2)

SKT AI fellowship 3기 Cycling Hit 팀은 한국어 멀티모달 감정 인식 AI 모델 개발 연구 과정을 공유합니다. 이번 포스팅에서는 데이터셋 선정 및 전처리 과정에 대해 설명하며, AI Hub의 멀티모달 영상 AI데이터셋을 활용했습니다.

이 데이터셋은 영상, 음성, 텍스트를 포함하며 기쁨, 슬픔, 분노 등 8가지 감정 라벨링과 Arousal, Valence 값을 제공합니다. 연구 초기에는 8가지 감정 대신 긍정, 중립, 부정의 3가지 클래스로 분류를 진행했으며, 데이터 불균형 및 레이블링 오류 문제를 해결하기 위해 일부 데이터를 제외하는 전처리 과정을 거쳤습니다.

연구 계획 1편에 이어지는 내용으로, 개발된 모델의 데모 영상도 함께 소개될 예정입니다.