[Statistics] Moment (Probability Moment)

1. Moment (Probability Moment) : Statistics

💡 statistics에서 moment는 probability distribution에서 계산되어진 특징값

• 확률 분포를 이용하여 구해지는 random variable의 대표값(or 통계량)을 일반화(generalization)시킨 것을
  probability moment라고 함.
• mean(or 기댓값)과 variance 는 moment의 하나임
• 적률 이라고도 불림.

---

Moment의 종류

moment 는

• moment about origin,
• central moment 로 나뉨.

---

central moment의 수식은 다음과 같음.

$$
\mu_n=E[(X-\mu)^n]=\int(x-\mu)^np(x)dx
$$

where

• $\mu_n$ : n차 (central) moment
• $\mu$ : mean, 1차 moment (엄밀하게는 1차 moment about origin)
• $p(x)$ : random variable $X$의 값이 $x$가 될 확률.

---

moment about origin의 수식은 다음과 같음.

$$
\mu_n=E[X^n]=\int x^n p(x)dx
$$

---

동일한 확률분포란?

두 개의 확률분포를 따르는 random variable $X$, $Y$로부터 계산된 1에서 무한대 차수에 이루는 moment가 동일할 경우(=mgf가 동일할 경우), 두 확률분포는 동일한 확률분포라고 함.
이를 수식으로 표현하면 다음과 같음.

$$
X \stackrel{d}{=}Y
$$

---

2. 다양한 moments

일반적으로 moment about origin은 1차를 주로 사용하고, mean을 의미함.
←1st moment라고 하면 보통 1st moment about origin으로 mean임.

---

2.1 mean (expected value) : 1차 moment about origin (1st moment)

$$
\int (x)^1p(x)dx \quad\text{ or }\quad\sum (x)^1p(x)
$$

💡 2차부터는 주로 central moment가 사용됨.

---

2.2 variance (분산) : 2차 central moment. (2nd moment)

$$
\int (x-\mu)^2p(x)dx \quad\text{ or }\quad\sum (x-\mu)^2p(x)
$$

---

2.3 skewness (왜도, 비대칭도) : 3차 central moment. (3rd moment)

$$
\int (x-\mu)^3p(x)dx \quad\text{ or }\quad\sum (x-\mu)^3p(x)
$$

 

Skewness는 데이터의 분포가 대칭인지 비대칭인지를 나타내며 값에 따라 다음과 같이 해석됨.

• Skewness가 0일 경우, 완벽하게 대칭임.
• Skewness가 양수(positive skew)일 경우, skewed to right로 tail이 오른쪽을 길게 됨.
• Skewness가 음수(negative skew)일 경우, skewed to left로로 tail이 왼쪽으로길게 됨. 

Skewness는 위의 3rd central moment를 이용하여 다음과 같이 계산됨.

$$\text{Skewness}=\frac{n\sum^n_{i=1}(x_i-\mu_x)^3}{(n-1)(n-2)\sigma^3}$$

---

2.4 kurtosis (첨도) : 4차 central moment. (4th moment)

$$
\int (x-\mu)^4p(x)dx \quad\text{ or }\quad\sum (x-\mu)^4p(x)
$$

 

4차 central moment는 데이터가 중심에서 얼마나 멀리 퍼져있는지(dispersion) 와 함께 극단적인 값들의 영향을 얼마나 받는지를 나타내기 때문에, 이를 2nd central moment의 제곱으로 나누고 특정상수(3_를 조정하여 kurtosis 를 나타내는 지표로 계산함.

많이 사용되는 지표는 excess Kurtosis 이며 공식은 다음과 같음

$$\text{Excess Kurtosis}=\frac{n\sum^n_{i=1}(x_i -\mu_x)^4}{ \left(\sum^n_{i=1}(x_i-\mu)^2\right)^2}-3$$

 

excess Kurtosis는

• Mesokurtic: normal distribution에서 0의 값을 가지며,
• Leptokurtic: 양의 값을 가질 경우 normal distribution에 비해 더 뾰족하거나 tail이 두꺼운 것(heavy tail)을 의미함(이는 outliar가 많을 가능성 높아짐)
• Platykurtic: 음의 값을 가질 경우 noraml distirbution에 비해 뭉툭하고 tail이 얇은 것을 의미함.

https://turtle-dennis.tistory.com/5

첨도(kurtosis)

 

---

3. Moment Generating Function

다양한 경우에서 moment를 쉽게 구하기위해 고안된 함수.
Expected value(기댓값)의 정의로 표현하면 다음과 같음.

$$
M_x(n)=E[e^{nx}]
$$

expected value, $E[x]$는 다음과 같이 정의됨.

$$
E[x]=\int x p(x)dx=\sum x p(x)
$$

즉, moment generating function $M_x(n)$은 다음과 같음.

$$
M_x(n)=E[e^{nx}]=e^{nx_1}p(x_1)+e^{nx_2}p(x_2)+e^{nx_3}p(x_3)+ \cdots
$$

---

moment generating function의 사용에 대한 예제로서

moment generating function으로부터 mean과 variance를 구하는 것을 살펴보면 다음과 같음.

3-1. mean

$$
\mu=M_x^{\prime}(0)
$$

$M_x^{\prime}(0)$ : moment generating func.를 $n$에 대해 1차 미분 (1차 moment=mean)하고, $n=0$ 대입.

$$
\begin{aligned}M_x^\prime(0) &=E[xe^{0x}]\\ &=x_1e^{0x_1}p(x_1)+x_2e^{0x_2}p(x_2)+x_3e^{0x_3}p(x_3)+ \cdots \\ &=\sum x p(x)\end{aligned}
$$

---

3-2. variance

$$
\sigma^2=M_x^{\prime\prime}(0)-\mu^2
$$

$M_x^{\prime\prime}(0)$ : moment generating func.를 $n$에 대해 2차 미분 (2차 moment : variance)하고 $n=0$ 대입하여 구함.

$$
\begin{aligned}M_x^{\prime\prime}(0) &=E[xe^{0x}]\\ &=x_1^2e^{0x_1}p(x_1)+x_2^2e^{0x_2}p(x_2)+x_3^2e^{0x_3}p(x_3)+ \cdots \\ &=\sum x^2 p(x)\end{aligned}
$$

---

읽어볼 자료

2022.05.09 - [.../Physics] - [Physics] Moment (모멘트)

[Physics] Moment (모멘트)

2022.05.09 - [.../Physics] - [Physics] Moment of Force (or Torque)

[Physics] Moment of Force (or Torque)

https://dsaint31.me/mkdocs_site/DIP/cv2/ch02/dip_contour_features/#moment

BME228

https://codeburst.io/2-important-statistics-terms-you-need-to-know-in-data-science-skewness-and-kurtosis-388fef94eeaa?gi=72c5bbe1eab2

Skew and Kurtosis: 2 Important Statistics terms you need to know in Data Science

https://blog.naver.com/s2ak74/220616766539

[보충] 왜도(skewness)와 첨도(Kurtosis)