의사결정 나무와 엔트로피

본 글은 의사결정 나무와 관련된 개념인 엔트로피에 대해 설명합니다. 엔트로피는 물리학의 '무질서도' 개념에서 시작되었지만, 정보학에서도 중요한 역할을 합니다.

끌로드 섀넌은 정보의 불확실성을 측정하는 지표로 엔트로피를 제안했으며, 이는 정보의 상태나 품질을 나타내는 데 사용될 수 있습니다. 특히, '의외성(surprisal)'이라는 개념을 통해 사건의 발생 확률이 낮을수록 더 큰 놀라움을 주고 엔트로피 값이 높아진다는 것을 설명합니다.

의외성은 -log(p)로 정의되며, 확률 p가 낮을수록 값이 커집니다. 이는 정보 이론과 머신러닝에서 데이터의 불확실성을 이해하는 데 중요한 기초를 제공합니다.