Divergence1 섀넌 엔트로피, Cross Entropy, K-L Divergence 계량경제학은 선형회귀 때리는 법이나 알려주는 줄 알았더니, 정보이론부터 시작하더라. 정보란 무엇인가에 대한 섀넌의 정의에서부터, Cross Entropy, K-L Divergence 의 개념까지 간단하게 살펴보자. 섀넌 엔트로피 (정보 엔트로피) 정보의 양은 어떻게 정의할 수 있을까? 섀넌은 불확실성의 존재로 인하여 정보를 필요로 한다는 점에 주목한다. 1년 내내 100%의 확률로 날씨가 '맑음'인 곳에서 어딘가로 그 날의 날씨를 전달한다고 해보자. 사실 매일 '맑음'이라고 적어서 보내는 것은 아무런 의미가 없다. 애초에 그곳의 날씨는 100% 확률로 맑음이므로, '맑음' 메시지가 전달되든, 그렇지 않든 메시지 수신자는 이미 맑다는 사실을 알고 있다. 즉, 정보의 양이라는 것을 불확실성의 정도로 환원해 .. 2023. 9. 14. 이전 1 다음 반응형