[Math] Bernoulli Distribution (베르누이 분포)

Bernoulli distribution (베르누이 분포)은 Probability Distribution에서 가장 단순한 분포 중 하나 임.

 

주로 binary classification task에서 많이 사용됨.

Bernoulli Trial

결과가 2가지 중 하나로만 나오는 trial(시행, 시도, 실험)을 가르킴.

• 대표적인 예로 동전 던지기(Head or Tail)가 Bernoulli trial에 해당.

---

Bernoulli Random Variable

Bernoulli trial의 결과를 숫자 0,1 (또는 -1, 1)로 할당한 random variable(확률변수).

discrete random variable 로 2개의 값 중 하나만 가질 수 있는 특징을 가짐.

---

Bernoulli Distribution (Bernoulli Probability Distribution)

Bernoulli random variable의 distribution(분포)임.

random variable $X$가 Bernoulli distribution에 따라 값을 가진다면 다음과 같이 표기.

$$X \sim \text{Bern}(x;\mu)$$

• $\mu$는 확률변수 X가 1이 될 확률임. [0.0, 1.0]

Probability Mass Function은 다음과 같음.

$$\begin{aligned}\text{Bern}(x;\mu)&=\left\{\begin{matrix}\mu & \text{if }x=1,\\1-\mu& \text{if }x=0\end{matrix}\right.\\&=\mu^x (1-\mu)^{1-x}\end{aligned}$$

Bernoulli distribution에서 parameter는 $\mu$ 로서 1이 나올 확률임.

 

만약 결과값이 0,1이 아닌  -1, 1인 경우, probability mass function 은 다음과 같음.

$$\text{Bern}(x;\mu)=\mu^{(1+x)/2}(1-\mu)^{(1-x)/2}$$

 

참고로 Bernoulli trial을 여러번 수행할 때의 성공횟수는 Binomial distribution을 따름.

2023.03.14 - [.../Math] - [Math] Binomial Distribution (이항분포)

[Math] Binomial Distribution (이항분포)

---

Moment

expected value (기댓값)

$$E[X]=\mu$$

 

proof:

$$\begin{aligned}E[X]&=\sum_{x_i\in\Omega}x_ip(x_i)\\&=1\mu+0(1-\mu)\\&=\mu\end{aligned}$$

---

variance (분산)

$$\text{Var}[X]=\mu(1-\mu)$$

 

proof:

$$\begin{aligned}\text{Var}[X]&=\sum_{x_i\in\Omega}(x_i-\mu)^2p(x_i)\\&=(1-\mu)^2\mu+(0-\mu)^2(1-\mu)\\&=\mu(1-\mu)\end{aligned}$$