ICML 2020 논문 소개 - 딥러닝 이론 연구

I. PLUS Lab에서 ICML 2020에 발표한 'Being Bayesian about Categorical Probability(범주형 확률에 대한 베이지안 방법론)' 논문을 소개하는 글입니다.

본 연구는 기존 딥러닝 모델이 분류 문제에서 오답에 대해 과도한 확신을 보이는 '오버 컨피던스' 현상을 해결하는 것을 목표로 합니다. 이를 위해 분류 문제에서 target 분포 생성 시 베이지안 관점을 도입하여, categorical probability를 확률 변수로 취급하고 사전 확률을 설정한 뒤 베이즈룰을 통해 업데이트하는 'belief matching framework'를 제시합니다.

특히, 디리클레 분포를 prior로 사용하여 extreme한 라벨 분포를 스무딩하고, ELBO를 이용해 신경망을 학습시킵니다. 연구 결과, 모델이 예측값에 대한 불확실성을 표현할 수 있게 되었으며, prior 분포를 통한 정규화 효과로 모델 성능이 향상되었습니다.

향상되었습니다.