통계3 섀넌 엔트로피, Cross Entropy, K-L Divergence 계량경제학은 선형회귀 때리는 법이나 알려주는 줄 알았더니, 정보이론부터 시작하더라. 정보란 무엇인가에 대한 섀넌의 정의에서부터, Cross Entropy, K-L Divergence 의 개념까지 간단하게 살펴보자. 섀넌 엔트로피 (정보 엔트로피) 정보의 양은 어떻게 정의할 수 있을까? 섀넌은 불확실성의 존재로 인하여 정보를 필요로 한다는 점에 주목한다. 1년 내내 100%의 확률로 날씨가 '맑음'인 곳에서 어딘가로 그 날의 날씨를 전달한다고 해보자. 사실 매일 '맑음'이라고 적어서 보내는 것은 아무런 의미가 없다. 애초에 그곳의 날씨는 100% 확률로 맑음이므로, '맑음' 메시지가 전달되든, 그렇지 않든 메시지 수신자는 이미 맑다는 사실을 알고 있다. 즉, 정보의 양이라는 것을 불확실성의 정도로 환원해 .. 2023. 9. 14. 경제통계학 (3): 베이즈의 법칙 베이즈의 법칙은 조건부확률을 응용하여, 어떤 한 사건의 발생을 관찰하여 특정 사건이 발생할 확률을 사후적으로 수정해나가는 방법을 설명한다. 바로 공식부터 때려박으면 아래와 같다. $B_1, B_2, ... , B_k$ 가 전체사건 S의 분할이라고 하면 아래 식이 성립한다. $P(B_j|A) = \cfrac{P(B_j \cap A)}{P(A)} \\= \cfrac{P(B_j)P(A|B_j)}{P(B_1)P(A|B_1) + P(B_2)P(A|B_2) + ... + P(B_k)P(A|B_k)}$ $P(B_j)$는 사전확률(prior probability), $P(A|B_j)$는 우도확률(likelihood probability), $P(B_j|A)$는 사후확률(posterior probability) 이다. .. 2023. 3. 17. 경제통계학 (1) : 확률의 정의 확률실험 확률실험은 실험결과가 확률적으로 나타나는 실험을 뜻한다. 말인즉슨, 실험 실행 전에 미리 나타날 결과를 예측할 수 없다는 것. 확률실험의 대표적인 예시로는 동전 던지기, 주사위 던지기 따위가 있다. 그러나 결과의 개수가 꼭 유한할 필요는 없는데, 예컨대 집을 청소하는 데 걸리는 시간도 확률실험으로 표현할 수 있다. 그 결과는 0보다 큰 실수가 된다. 표본공간 표본공간은 확률실험에서 얻을 수 있는 모든 가능한 결과의 집합을 뜻한다. 표본공간에 포함되는 결과들은 완전하고, 상호배타적이어야 한다. 완전(exhaustive): 나열된 결과들은 모든 가능한 결과들을 포함한다 상호배타적(mutually exclusive): 두 가지 결과가 동시에 발생할 수 없다. 표본공간을 표시하는 기호는 $S$ 이다. .. 2023. 3. 17. 이전 1 다음 반응형
