[Math] The Law of Large Numbers (or The weak law of large numbers)

어떤 한 trial(시행)에서 사건 $A$가 일어날 수학적 확률(Analytic probability)이 $p$일 때,

$n$번의 독립시행(independent trial)에서 사건 $A$가 일어나는 횟수를 $x$ 라고 하면,

아무리 작은 양수 $\epsilon$을 택하더라도 다음이 성립한다.

 

$$
\lim_{n→\infty} P \left( \left|\frac{x}{n}−p\right| >\epsilon \right)=0
$$

• The sample average(통계적 확률, 빈도주의 확률) converges in probability towards the expected value(=수학적 확률).
  • $\frac{x}{n}$ : Frequentist probability,
  • $p$ : Analystic probability ◁ ideal probability.

즉, Analystic probability의 값에 근접하게 하기 위해서는 $n$을 가능한 크게 해야한다.

△ 이를 가리켜 The Law of Large Numbers 라고 함.

 

참고로, Strong law는 다음과 같음

$$ P \left( \underset{n \to \infty}{\lim}\frac{x}{n}=p \right) = 1 $$

almost sure convergence를 다룬다는 차이점을 가짐.