ICML 2020 논문 소개 - 딥러닝 이론 연구

I. PLUS Lab에서 ICML 2020에 발표한 "Being Bayesian about Categorical Probability" 논문을 소개하는 글입니다.

본 연구는 기존 딥러닝 모델의 오답에 대한 과한 확신(오버 컨피던스) 문제를 해결하는 것을 목표로 합니다. 이를 위해 분류 문제에서 타겟 분포 생성 시 베이지안 관점을 도입하여, 범주형 확률을 확률 변수로 취급하고 사전 확률을 설정한 뒤 베이즈룰을 통해 업데이트하는 belief matching framework를 제시합니다.

특히, 디리클레 분포를 활용하여 extreme한 라벨 분포를 스무딩하고, ELBO를 이용해 신경망을 학습시킵니다. 연구 결과, 모델이 예측값에 대한 불확실성을 표현할 수 있게 되었으며, prior distribution을 통한 정규화 효과로 모델 성능이 향상되었습니다.

향상되었습니다.