[Math] Normal Distribution (정규분포, Gaussian Distribution)

Normal Distirbution

Gaussian Distribution, Laplace-Gaussian Distribution 라고도 불림.

좌우대칭의 종모양(bell-shaped). 위 그림에서 표준편차의 3배만 고려해도 전체의 99.7%를 커버함을 알 수 있음.

 

특히, mean=0이고, std=1인 경우, Standard Normal Distribution이라고 불림.

---

1. 정의

Normal Distribution의 pdf (probability density function)는 다음과 같음.

 

$$f(X)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(X-\mu)^2}{2\sigma^2}}$$

• $\mu$ : mean
• $\sigma$ : standard deviation

 

pdf 이므로 probability를 다 더한 적분값은 1이 됨.

$\mu$와 $\sigma$가 parameter 임.

 

일반 normal distribution에 Z-Transform을 수행하면 standard normal distribution이 된다.

통계나 확률에서의 Z-Transform 은 ML등에선 Standardization으로 불림 (신호처리의 z-Transform과는 다름)

$$Z=\frac{X-\mu}{\sigma}$$

2024.05.04 - [Programming/ML] - [ML] Feature Scaling

[ML] Feature Scaling

---

---

2. Normal distribution 특징

• Independent value, Abscissa (x의 값, 좌표평면에서의 x좌표를 앱시사라고 부름) 는 real number를 취하며 ($-\infty,+\infty)$.
• mean(평균값) 부근의 확률밀도가 큼.
• mean에서 멀어질수록 확률밀도가 작음.
• 확률밀도가 mean을 중심으로 symmetric.

---

3. 역사

de Moivre (드 므와브리)에 의해 1773년 binomial distribution의 근사 (n이 충분히 크고, p가 0또는 1에서 먼 값으로 극단적이지 않아야 함)로서 Normal distribution이 연구되었고,
Pierre Simmon Laplace에 의해 정확한 식이 정의되었음.
그후 Carl Friedrich Gauss에 의해 오늘날 사용되는 일반적인 식으로 정리됨.

$np \ge 5$ 와 $n(1-p) \ge 5$를 만족하는 binomial distribution의 경우 normal distirbution으로 근사가 적절하다고 판정.

$$X \sim \text{Binomial}(n, p) \quad \Rightarrow \quad X \approx \mathcal{N}(\mu = np, \sigma^2 = np(1 - p))$$ 단, binomail distributrion은 discrete이고, normal distribution은 continuous라, 다음의 continuity correction을 취하기도 함: $$P(X \le k) \approx P\left( Z \le \frac{k+0.5-np}{\sqrt{np(q-p)}} \right)$$

 

Laplace와 Gauss 는 (천문)관측에서의
측정치의 error distribution의 연구에서 Normal distribution을 사용했기 때문에
"Normal law of error"라고도 불림.

 

Normal distribution 은 측정값에서
mean 주변의 variablity를 잘 설명함.

 

 

Francis Galton 등의 공헌과 Central Limit Theorem 덕분에
Normal distribution은 측정값들에 기반한 연구들에서 가장 널리 사용되는 확률분포 로 자리잡음.

• 대부분의 통계처리에서 dependent variable의 population이 normal distribution을 따른다고 가정한다.
• normal distribution을 따른다고 가정할 경우, 수많은 연구들 덕분에 inference를 위한 다양한 방법들이 존재함.
• Cntral Limit Theorem에 의해 population이 normal distribution이 아니더라도
  이들의 측정치로 얻어진 sampling distribution은 ideal인 경우 normal distribution이라고 볼 수 있음. ***

2022.03.31 - [.../Math] - [Statistics] Central Limit Theorem

[Statistics] Central Limit Theorem

---

4. 다른 확률분포들과의 관계

binormial distribution에서 시행횟수 n을 무한대로 보내고, 성공확률 p를 0과 1에서 적절히 멀어지게 잡을 경우 normal distribution이 됨.

2023.03.14 - [.../Math] - [Math] Binomial Distribution (이항분포)

[Math] Binomial Distribution (이항분포)

 

Poisson distribution의 경우엔 mean인 $\lambda$의 크기를 증가시킬 경우, normal distribution이 됨.

2023.10.25 - [.../Math] - [Math] Poisson Distribution (포아송분포)

[Math] Poisson Distribution (포아송분포)

 

skewed to positive 의 경우 $\log$ 처리를,  
skewed to negative 인 경우엔 square처리 (cube 나 그 이상의 exponentiation)를 사용하여  
normal distribution과 같이 symmetric shape가 되도록해줌.

 

---

5. Python code for Gaussian distribution

NumPy 의 경우, np.random.nromal(0, 1, 1000) 의 경우 Standard Normal Distribution을 따르는 샘플 인스턴스 1000개 가지는 1d array를 반환.

 

평균이 0이고 표준편차가 1인 standard normal distribution을 그려주는 code.

import matplotlib.pyplot as plt
import numpy as np
import scipy.stats

x = np.arange(-5,5,0.1)
mu = 0.
sigma = 1. # standard deviation
y = scipy.stats.norm.pdf(x=x, loc=mu, scale = sigma)
plt.plot(x,y, color='blue')
plt.show()

---

같이 보면 좋은 자료들

 

2024.04.18 - [.../Math] - [Math] Probability Distribution

[Math] Probability Distribution

---