본문 바로가기

경제학/경제통계학5

섀넌 엔트로피, Cross Entropy, K-L Divergence 계량경제학은 선형회귀 때리는 법이나 알려주는 줄 알았더니, 정보이론부터 시작하더라. 정보란 무엇인가에 대한 섀넌의 정의에서부터, Cross Entropy, K-L Divergence 의 개념까지 간단하게 살펴보자. 섀넌 엔트로피 (정보 엔트로피) 정보의 양은 어떻게 정의할 수 있을까? 섀넌은 불확실성의 존재로 인하여 정보를 필요로 한다는 점에 주목한다. 1년 내내 100%의 확률로 날씨가 '맑음'인 곳에서 어딘가로 그 날의 날씨를 전달한다고 해보자. 사실 매일 '맑음'이라고 적어서 보내는 것은 아무런 의미가 없다. 애초에 그곳의 날씨는 100% 확률로 맑음이므로, '맑음' 메시지가 전달되든, 그렇지 않든 메시지 수신자는 이미 맑다는 사실을 알고 있다. 즉, 정보의 양이라는 것을 불확실성의 정도로 환원해 .. 2023. 9. 14.
경제통계학 (4): 확률변수 확률변수란? 확률변수는 확률실험의 각 결과들에 하나의 실수를 부여하는 함수를 말한다. 예컨대 동전 한 개를 두 번 던지는 실험을 한다고 하면 표본공간 $S = {(H,H),(H,T),(T,H),(T,T)}$ 이다. 각 사건에 실수를 부여하는 방법은 여러 가지가 있을 수 있다. 각 결과들에 0부터 3까지를 부여하는 아래의 첫 번째 방법도 있지만, 만약 H의 개수를 구하고자 한다면 그런 방식으로 숫자를 부여할 수도 있다. $ X(\omega)= \begin{cases} X((H,H)) = 0 \\ X((H,T)) = 1 \\ X((T,H)) = 2 \\ X((T,T)) = 3 \end{cases} $ $ X(\omega)= \begin{cases} X((H,H)) = 2 \\ X((H,T)) = 1 \\ X.. 2023. 3. 18.
경제통계학 (3): 베이즈의 법칙 베이즈의 법칙은 조건부확률을 응용하여, 어떤 한 사건의 발생을 관찰하여 특정 사건이 발생할 확률을 사후적으로 수정해나가는 방법을 설명한다. 바로 공식부터 때려박으면 아래와 같다. $B_1, B_2, ... , B_k$ 가 전체사건 S의 분할이라고 하면 아래 식이 성립한다. $P(B_j|A) = \cfrac{P(B_j \cap A)}{P(A)} \\= \cfrac{P(B_j)P(A|B_j)}{P(B_1)P(A|B_1) + P(B_2)P(A|B_2) + ... + P(B_k)P(A|B_k)}$ $P(B_j)$는 사전확률(prior probability), $P(A|B_j)$는 우도확률(likelihood probability), $P(B_j|A)$는 사후확률(posterior probability) 이다. .. 2023. 3. 17.
경제통계학 (2) : 조건부확률, 독립사건 조건부확률이란? 조건부확률은 다른 사건이 발생하였다는 조건하에 한 사건이 발생할 확률이다. 만약 $P(B) > 0$ 이면, 사건 B가 발생하였다는 조건 하에서 사건 A가 발생할 확률은 다음과 같이 표기한다. $$P(A|B) = P(A \cap B) / P(B)$$ 사건의 독립 사건들의 발생이 서로 관련이 없으면 독립이라고 한다. 즉, 다른 사건이 일어나건 일어나지 않건, 어떤 한 사건의 발생 확률엔 변화가 없는 셈이다. 조건부 확률을 바탕으로 생각해보면, 만약 두 사건이 독립이려면 A가 일어나는 것이 B가 일어나는 것에 영향을 미쳐선 안되고, 그 반대의 경우도 마찬가지다. 즉, $P(A) > 0, P(B) > 0$이라면, $P(A) = P(A|B) , P(B) = P(B|A)$인 셈. 조건부확률이 $P(.. 2023. 3. 17.
경제통계학 (1) : 확률의 정의 확률실험 확률실험은 실험결과가 확률적으로 나타나는 실험을 뜻한다. 말인즉슨, 실험 실행 전에 미리 나타날 결과를 예측할 수 없다는 것. 확률실험의 대표적인 예시로는 동전 던지기, 주사위 던지기 따위가 있다. 그러나 결과의 개수가 꼭 유한할 필요는 없는데, 예컨대 집을 청소하는 데 걸리는 시간도 확률실험으로 표현할 수 있다. 그 결과는 0보다 큰 실수가 된다. 표본공간 표본공간은 확률실험에서 얻을 수 있는 모든 가능한 결과의 집합을 뜻한다. 표본공간에 포함되는 결과들은 완전하고, 상호배타적이어야 한다. 완전(exhaustive): 나열된 결과들은 모든 가능한 결과들을 포함한다 상호배타적(mutually exclusive): 두 가지 결과가 동시에 발생할 수 없다. 표본공간을 표시하는 기호는 $S$ 이다. .. 2023. 3. 17.
반응형