[Math] The Law of Total Probability

The Law of Total Probability (전확률의 법칙)

$E_0, E_1, ... , E_{N-1}$이 sample space $S$의 partition이고,
$P(E_i)>0$이면 다음이 성립

$$
P(A)=\displaystyle \sum^{N-1}_{i=0}P(B_i)P(A|B_i)
$$

위가 성립하는 것을 Law of Total Probability라고 부름.

sample space가 partition으로 구분되어진 경우
복잡한 확률을 partition으로 분해하여
간단하게 해결하는데 사용됨.

이메일이 스팸일 확률을 구할 때, 전체 이메일을 특정 keyword 포함여부에 따라 구분하여 놓았다고 하자.

해당 이메일 데이터는 해당 keyword 에 prartition으로 나누어져 있으므로 다음이 성립함.

$$P(\text{spam})=P(\text{spam} | \text{keyword})P(\text{keyword}) + P(\text{spam} | \text{no keyword})P(\text{no keyword})$$

기계학습 등에서 데이터의 여러 부분을 고려하여 전체의 확률을 추정하는 등에 활용됨.

즉, 복잡한 확률에 대한 문제를 보다 단순한 여러 부분(partition)으로 나누어 각각을 해결하여 전체 문제를 푸는 접근이 가능.

Bayes' Theorem과 함께, 결과(dataset)로부터 원인(model's parameters)을 추론할 때에도 사용됨.