ICML 2020 논문 소개:: 딥러닝 이론 연구

I. PLUS Lab에서 ICML 2020에 발표한 "Being Bayesian about Categorical Probability(범주형 확률에 대한 베이지안 방법론)" 논문을 소개하는 글입니다.

본 연구는 기존 딥러닝 모델이 분류 문제에서 오답에 대해 과한 확신을 보이는 '오버 컨피던스' 현상을 해결하는 것을 목표로 합니다. 이를 위해 분류 문제에서 target 분포를 생성할 때 베이지안 관점을 도입하여, categorical probability를 확률 변수로 취급하고 사전 확률을 설정한 뒤 사후 확률 분포를 target으로 사용합니다.

구체적으로 디리클레 분포를 prior로 가정하여 extreme한 라벨 분포를 스무딩하고, belief matching framework를 통해 신경망을 학습시킵니다. 연구 결과, 모델이 예측값에 대한 불확실성을 표현할 수 있게 되었으며, prior 분포를 통한 정규화 효과로 모델 성능이 향상되었습니다.

향상되었습니다.