[Math] Conditional Probability and Joint Probability

Conditional Probability (조건부 확률)

Event $F$가 발생한 조건 하에 Event $E$가 발생할 확률이 바로 conditional probability임.

$$
p(E|F)=\dfrac{p(E,F)}{p(F)}
$$

조건에 의해, sample space가 변함. 조건에 의해 변화된 sample space에서의 확률을 구하는 것임.

---

예제

한 가족에서 두 아이들의 성별 맞추기

가정 1. 각각의 아이가 딸이거나 아들일 확률은 0.5로 동일.

가정 2. 둘째의 성별은 첫째의 성별과 independent.

1) 두 아이가 모두 딸이 아닌 경우의 확률은? 2) 딸 한명과 아들 한명일 확률은? 3) 두 아이 모두 딸일 확률은?

각각 1/4, 1/2, 1/4

전체 경우를 따져보면 다음과 같기 때문임.
(M,M), (F,M), (M,F), (F,F)

---

첫째가 딸인 경우($F$), 두 아이 모두 딸($B$)일 확률?

$p(B|F)=\dfrac{p(B,F)}{p(F)}=\dfrac{p(B)}{p(F)}=\dfrac{1/4}{1/2}=\dfrac{1}{2}$

---

딸이 최소 한 명($L$)인 경우, 두 아이 모두 딸($B$)일 확률?

$p(B|L)=\dfrac{p(B,L)}{p(L)}=\dfrac{p(B)}{p(L)}=\dfrac{1/4}{3/4}=\dfrac{1}{3}$

---

Joint Probability (결합확률, 연접확률) 과 Multiplication Law

확률이 0이 아닌 Event $A$와 $B$의 joint probability란 해당 event가 같이 일어날 확률을 의미함.

 

Multiplication Law에 의해 구해진다.

$$p(A,B)=p(A\cap B)=p(A)p(B|A)=p(B)p(A|B), (\text{if } p(A)>0,p(B)>0)$$

 

이는 Bayes' Theorem으로 이어짐: likelihood를 이용하여 결과로부터 원인의 확률을 구할 수 있음

$$p(H_i|E) = \frac{p(H_i)p(E|H_i)}{p(E)}$$

• $p(H_i|E)$ : $E$가 관측된 경우의 가설(=확률분포) $H_i$ 참일 확률: Posterior Probability (사후확률)
• $p(H_i)$ : $H_i$의 prior probability (사전확률): 관측 이전에 참일 확률
• $p(E)$ : $E$의 probability로 evidence 또는 normalizing constant임 (상수이므로 보통 무시됨)
• $p(E|H_i)$ : $H_i$가 참인 경우, $E$가 관측될 조건부 확률 (=likelihood, 결과로부터 구한 원인의 확률)

Bayes' Theorem은 결과로부터 원인의 확률을 추론 가능하게 해주며, 새로운 관측 $E$에 의해 사전 확률을 업데이트하여 사후확률을 구할 수 있게 해줌: 기계학습에서 매우 중요한 위치를 차지함.

2022.06.02 - [.../Math] - [ML] Likelihood (우도)

[ML] Likelihood (우도)

 

---

Joint probability vs. Conditional probability

술(A)을 마시고 사고(B)가 일어날 확률 ◁ joint probability

술(A)를 마셨을 때 사고(B)가 일어날 확률 ◁ conditional probability