[Math] Gamma Distribution (링크 보완 필요) :

Gamma distribution :

• Poisson trial$(\sim \text{Poisson}(x;\lambda=\beta))$이
• $\alpha$회 발생할 때까지의 대기 시간이
• 나타내는 (연속)확률분포임.

참고로, exponential distribution은 최초($\alpha=1$)의 Poisson trial이 발생할 시점 까지의 대기시간!

$\alpha$: shape parameter, $\theta$: scale parameter

---

1. Definition

Gamma distribution은 2개의 parameter(모수),

• $\alpha$, (=shape parameter)
• $\beta$ (=rate parameter = $\frac{1}{\theta}$)

를 가지며 다음과 같은 PDF로 정의됨.

$$
\begin{aligned}
\text{Gamma}(t;\alpha,\beta)
&=\frac{1}{\Gamma(\alpha)}\beta^\alpha t^{\alpha-1}e^{-\beta t}\\
&=\frac{t^{\alpha-1}e^{-\beta t}}{\beta^{-\alpha}\Gamma(\alpha)}
\end{aligned}
$$

• 단위시간당 평균 $\lambda(=\beta)$회 발생하는 Poisson trial$(\sim \text{Poisson}(x;\lambda=\beta))$이
• $\alpha$회 발생할 때까지의 대기 시간인 $(t)$가 따르는 분포임.
  • $\alpha=1$인 경우, 해당 Gamma distribution은 Exponential distribution이 됨.
  • $\alpha=\frac{\nu}{2}$, $\beta=\frac{1}{2}$인 경우, 해당 Gamma distribution은 DoF(Degree of Freedom, 자유도)가 $\nu$인 $\chi^2$ distribution이 됨.
  • 각각 independent(독립)이면서 parameter가 $\lambda$인 Exponential distribution을 따르는 $\alpha$개의 random variable의 합은 Gamma($\alpha,\lambda$)를 따름: 독립이면서 파라메터가 같은 Exponential distribution의 합
• $\Gamma(~)$는 Gamma Function 임.

2025.04.29 - [.../Math] - [Math] Gamma Function

[Math] Gamma Function

 

pdf에서
factorial을 실수 및 복소수 영역으로 확장한 Gamma Function이 등장하기 때문에
이름이 Gamma Distribution이 됨

2025.04.29 - [.../Math] - [Math] Exponential Distribution

[Math] Exponential Distribution

2023.10.25 - [.../Math] - [Math] Poisson Distribution (포아송분포)

[Math] Poisson Distribution (포아송분포)

---

---

참고: Gamma distribution : scipy.stats.gamma

SciPy API - SciPy v1.8.0 Manual

---

2. Derivation

우선 단위시간 당 평균 $\beta$회 발생하는 Poisson trial이
특정 기간 $t$동안 $\alpha$ 보다 적은 횟수로 발생할 확률은
다음과 같이, 0에서 $\alpha-1$회의 발생확률 각각을 다 더하면 됨.
(해당 각각의 발생확률은 poisson distribution의 pmf를 이용.)

$$
f(x=0;\beta)+f(x=1;\beta)+\cdots+f(x=\alpha-1;\beta) \\
=\sum^{\alpha-1}_{x=0}\frac{(\beta t)^x e^{-\beta t}}{x!}\\
=\sum^{\alpha-1}_{x=0}\frac{(\lambda t)^x e^{-(\lambda t)}}{x!}
$$

 

위의 식은
“사건이 $\alpha$회 발생하기까지의 대기시간" 을 random variable $T$라고 할 경우,
“$T$가 $t$보다 클 확률”과 같음.

 

즉, 사건이 $\alpha$회 발생하기까지의 대기시간 $T$가 $t$보다 클 확률이 바로 위의 식으로 표현됨:

$$
p(T>t)=\sum^{\alpha-1}_{x=0}\frac{(\beta t)^x e^{-\beta t}}{x!}
$$

 

반대로,

구간 $t$동안 사건이 $\alpha$ 회 이상 일어날 확률은 $p(T \le t)$이며,

위에서 구한 확률 $p(T>t)$을 1에서 빼주면 됨.

$$
p(T\le t)=1-\sum^{\alpha-1}_{x=0}\frac{(\beta t)^xe^{-\beta
t}}{x!}
$$

 

위의 확률은 사건이 일어난 횟수에 초점을 맞추어서 구한 확률이나
exponential distribution의 경우처럼, $t$와 $\alpha$가 있으므로 (대기)시간의 관점 으로 애기 하면
$p(T \le t)$는 $\alpha$번째 사건이 일어나기까지의 (대기)시간에 대한 CDF(누적확률함수)라고 볼 수 있음.

$\alpha$번째 사건이 일어나기까지의
각각의 대기시간의 확률들을
적분한 결과가 바로 $p(T\le t)$

즉, 이를 미분 하면 대기시간의 pdf, $p(t)$를 구할 수 있음.

다음과 같이 대기 시간이 $t$일 확률을 나타내는 pdf 는 앞서의 식을 미분하여 구할 수 있음.

 

$$
\begin{aligned}
\frac{d}{dt}\left(1-\sum^{\alpha-1}_{x=0}\frac{(\beta t)^x e^{-\beta t}}{x!}\right)
&= -\sum^{\alpha-1}_{x=0}\frac{\beta^x }{x!} \frac{d}{dt}\left(t^xe^{-\beta t}\right)\\
&= -\sum^{\alpha-1}_{x=0}\frac{\beta^x }{x!} \left(xt^{x-1}e^{-\beta t}-\beta t^xe^{-\beta t}\right)\\
&= \sum^{\alpha-1}_{x=0} \frac{\beta^x }{1} \frac{ \left( \beta t^x e^{-\beta t} -x t^{x-1} e^{-\beta t} \right) } {x!}\\
&=\sum^{\alpha-1}_{x=0}\frac{1}{1} \frac{ \left(\beta^x\beta t^xe^{-\beta t}-\beta^xxt^{x-1}e^{-\beta t}\right)}{x!}\\
&=\sum^{\alpha-1}_{x=0}\frac{ \left(\beta^x\beta t^xe^{-\beta t}-\beta^{x-1}\beta xt^{x-1}e^{-\beta t}\right)}{x!}\\
&=\sum^{\alpha-1}_{x=0}\frac{ \left(\beta^x t^x \beta e^{-\beta t}-\beta^{x-1}xt^{x-1}\beta e^{-\beta t}\right)}{x!}\\
&=\beta e^{-\beta t}\sum^{\alpha-1}_{x=0}\frac{ \left(\beta^x t^x -\beta^{x-1}xt^{x-1}\right)}{x!}\\
&=\beta e^{-\beta t}\sum^{\alpha-1}_{x=0}\frac{ \left(\beta^x t^x -x\beta^{x-1}t^{x-1}\right)}{x!}\\
&=\beta e^{-\beta t}\sum^{\alpha-1}_{x=0}\frac{ \left((\beta t)^x -x (\beta t)^{x-1}\right)}{x!}\\
&=\beta e^{-\beta t}\sum^{\alpha-1}_{x=0} \left(\frac{(\beta t)^x}{x!} -\frac{x (\beta t)^{x-1}}{x!}\right)\\
&=\beta e^{ -\beta t} \left\{ 1 + \sum^{\alpha-1}_{x=1} \left( \frac{(\beta t)^x}{x!} - \frac{ x (\beta t)^{x-1}}{x!} \right) \right\} \\
&=\beta e^{-\beta t} \left\{1+\sum^{\alpha-1}_{x=1} \left(\frac{(\beta t)^x}{x!} -\frac{
(\beta t)^{x-1}}{(x-1)!}\right)\right\}\\
&=\beta e^{-\beta t} \left\{ 1+ \left(\frac{(\beta t)^{\alpha-1}}{(\alpha-1)!} -\frac{
(\beta t)^{0}}{0!}\right)\right\} \\
&=\beta e^{-\beta t} \left\{ 1+ \left(\frac{(\beta t)^{\alpha-1}}{(\alpha-1)!} -1\right)\right\}\\
&=\beta e^{-\beta t} \left\{ \left(\frac{(\beta t)^{\alpha-1}}{(\alpha-1)!} \right)\right\}\\
&= \frac{\beta e^{-\beta t}(\beta t)^{\alpha-1}}{(\alpha-1)!}\\
&= \frac{\beta e^{-\beta t}(\beta^{\alpha-1} t^{\alpha-1})}{(\alpha-1)!}\\
&= \frac{\beta ^\alpha e^{-\beta t}(t^{\alpha-1})}{(\alpha-1)!}\frac{ t^{\alpha-1}e^{-\beta t}}{\beta ^{-\alpha} (\alpha-1)!}\\
&= \frac{\beta ^\alpha e^{-\beta t}(t^{\alpha-1})}{(\alpha-1)!}\\
&=\frac{ t^{\alpha-1}e^{-\beta t}}{\beta ^{-\alpha} \Gamma(\alpha)},\text{ where }\Gamma(\alpha)=(\alpha-1)!\\
\end{aligned}
$$

$$
p(t)=\frac{t^{\alpha-1}e^{-\beta t}}{\beta^{-\alpha}\Gamma(\alpha)}
$$

위 확률 $p(t)$가 바로 Gamma distribution을 따르는 random variable임.

 

$p(t)$는
단위시간당 평균 $\beta$ 번 발생하는 사건이
(Poisson distribution의 $\lambda$를 gamma dist.에선 $\beta$로 표기)
$\alpha$회 발생하기까지 대기한 시간이 $t$일 확률임!

 

이 $p(t)$가 바로 Gamma distribution의 pdf임.

 

참고로, Probability Distribution의 전구간 적분값은 1임.

$$
\begin{aligned}p(t)
&=\dfrac{t^{\alpha-1}e^{-\beta t}}{\beta^{-\alpha} \Gamma(\alpha)}\\
\int^\infty_0p(t)dt
&=\int^\infty_0\dfrac{t^{\alpha-1}e^{-\beta t}}{\beta^{-\alpha} \Gamma(\alpha)}dt\\
&=\int^\infty_0\dfrac{t^{\alpha-1}e^{-y}}{\beta^{-\alpha} \Gamma(\alpha)}\dfrac{1}{\beta}dy\quad,y=\beta t\Rightarrow dt=\dfrac{1}{\beta}dy\\
&=\int^\infty_0\dfrac{t^{\alpha-1}e^{-y}}{\beta^{1-\alpha} \Gamma(\alpha)}dy\\
&=\int^\infty_0\dfrac{t^{\alpha-1}e^{-y}}{\beta^{-(\alpha-1)} \Gamma(\alpha)}dy\\
&=\int^\infty_0\dfrac{(\beta t)^{\alpha-1}e^{-y}}{ \Gamma(\alpha)}dy\\
&=\int^\infty_0\dfrac{y^{\alpha-1}e^{-y}}{ \Gamma(\alpha)}dy\\
&=\dfrac{\int^\infty_0 y^{\alpha-1}e^{-y}dy}{ \Gamma(\alpha)}\\
&=\dfrac{\Gamma(\alpha)}{\Gamma(\alpha)}\\
&=1
\end{aligned}
$$

---

3. Moments

• Expected Value $E[X]=\frac{\alpha}{\beta}$
• mode : $\text{mode} = \frac{\alpha-1}{\beta}$
• variance : $Var[X]=\frac{\alpha}{\beta^2}$

3-1. Moment Generation Function

Moment Generation Function은 다음 URL에서 3번을 참고:2022.03.31 - [.../Math] - [Statistics] Moment (Probability Moment)

[Statistics] Moment (Probability Moment)

 

$$
\begin{aligned}
p(t)&=\frac{t^{\alpha-1}e^{-\beta t}}{\beta^{-\alpha}\Gamma(\alpha)} \\
p(x)&=\frac{x^{\alpha-1}e^{-\beta x}}{\beta^{-\alpha}\Gamma(\alpha)}\quad,t\rightarrow x \\
M(t)&=\int^\infty_0 e^{tx}p(x)dx\&=\int^\infty_0 e^{tx}\frac{x^{\alpha-1}e^{-\beta x}}{\beta^{-\alpha}\Gamma(\alpha)}dx\\
&=\int^\infty_0 \frac{x^{\alpha-1}e^{-(\beta-t) x}}{\beta^{-\alpha}\Gamma(\alpha)}dx\\
&=\int^\infty_0 \frac{\left(\dfrac{y}{\beta-t}\right)^{\alpha-1}e^{-y}}{\beta^{-\alpha}\Gamma(\alpha)}dx\quad,y=(\beta-t)x\\
&=\int^\infty_0 \dfrac{\left(\dfrac{y}{\beta-t}\right)^{\alpha-1}e^{-y}}{\beta^{-\alpha}\Gamma(\alpha)}\dfrac{1}{(\beta-t)}dy\quad,dx=\dfrac{1}{(\beta-t)}dy\\
&= \dfrac{\int^\infty_0 y^{\alpha-1}e^{-y} dy}{\beta^{-\alpha}(\beta-t)^\alpha\Gamma(\alpha)}\\
&= \dfrac{\Gamma(\alpha)}{\beta^{-\alpha}(\beta-t)^\alpha\Gamma(\alpha)}\\
&= \dfrac{1}{\beta^{-\alpha}(\beta-t)^\alpha}\\
&=\dfrac{1}{\left(1-\dfrac{t}{\beta}\right)^\alpha}\\
&=\left(1-\dfrac{t}{\beta}\right)^{-\alpha}\end{aligned}
$$

3-2. "mean" from the moment generating function

$$
\begin{aligned}
\mu&= \left.M^\prime(t)\right|_{t=0}\\
&=\left.\dfrac{d}{dt} \left( 1- \dfrac{t}{\beta} \right)^{-\alpha}\right|_{t=0}\\
&=\left.-\alpha \left( 1-\dfrac{t}{\beta} \right)^{-\alpha-1} \left(-\dfrac{1}{\beta} \right)\right|_{t=0}\\
&=-\alpha(1)\left(-\dfrac{1}{\beta}\right)\\
&=\dfrac{\alpha}{\beta}
\end{aligned}
$$

3-3. "variance" from the moment generating function

$$
\begin{aligned}
\sigma^2
&= \left.\left[M^{\prime\prime}(t) -\left\{M^\prime(t)\right\}^2\right]\right|_{t=0}\\
&=\left.\dfrac{d}{dt}\dfrac{\alpha}{\beta}\left(1-\dfrac{t}{\beta}\right)^{-\alpha-1}\right|_{t=0}-\dfrac{\alpha^2}{\beta^2}\\
&=\left.\dfrac{\alpha}{\beta}(-\alpha-1)\left(1-\dfrac{t}{\beta}\right)^{-\alpha-2}\left(\dfrac{-1}{\beta}\right)\right|_{t=0}-\dfrac{\alpha^2}{\beta^2}\\
&=\left.\dfrac{\alpha(\alpha+1)}{\beta^2}\left(1-\dfrac{t}{\beta}\right)^{-\alpha-2}\right|_{t=0} -\dfrac{\alpha^2}{\beta^2}\\
&=\dfrac{\alpha(\alpha+1)}{\beta^2}-\dfrac{\alpha^2}{\beta^2}\\
&=\dfrac{\alpha}{\beta^2}
\end{aligned}
$$

---

4. Linearity

4-1. Additivity

서로 independent이고,
각각 Gamma distribution($\alpha_i, \beta$)를 따르는 random variable $X_i$가 k개 있을 때,
이들을 합한 random variable $\displaystyle Y=\sum_{i=1}^k X_i$는
parameter ($\alpha = \sum_{i=1}^k \alpha_i, \beta$)인 Gamma distribution을 따름.

 

즉, addivity(가산성, 가법성)을 가짐.

proof.

$$
\begin{aligned} M_Y(t)
&= M_{X_1}(t)M_{X_2}(t) \cdots M_{X_k}(t) \\
&=\left(1-\dfrac{t}{\beta}\right)^{-\alpha_1}\left(1-\dfrac{t}{\beta}\right)^{-\alpha_2}\cdots \left(1-\dfrac{t}{\beta}\right)^{-\alpha_k}\\
&=\left(1-\dfrac{t}{\beta}\right)^{-(\alpha_1+\alpha_2+\dots+\alpha_k)}\\
&=\left(1-\dfrac{t}{\beta}\right)^{-\alpha}
\end{aligned}
$$

서로 independent이고,
Exponential distribution (여기서 parameter는 $\lambda$)을 따르는 $\alpha$개의 random variable $X_1, X_2, X_3, \dots, X_\alpha$가 있을 때,
이들을 합한 random variable $\displaystyle Y=\sum_{i=1}^\alpha X_i$는
parameter가 $\alpha,\lambda$인 Gamma distribution (여기서 파라메터 $\beta = \lambda$)을 따름.

---

moment generating function이 동일할 경우, 같은 probability distribution임.

$Y$의 mgf를 전개시 gamma dist.의 mgf가 나옴.

proof.

 

$$
\begin{aligned}
M_Y(t)&=E\left(e^{(X_1+X_2+\dots+X_\alpha)t}\right)\\
&=E\left(e^{X_1t} e^{X_2t} \cdots e^{X_\alpha t}\right)\\
&=E\left(e^{X_1t}\right) E\left(e^{X_2t}\right) \cdots E\left(e^{X_\alpha t}\right) \quad, X_1,\dots, X_\alpha \text{ are independet.}\\
&=M_{X_1}(t)M_{X_2}(t)\cdots M_{X_\alpha}(t)\\
&=\dfrac{\lambda}{\lambda-t}\dfrac{\lambda}{\lambda-t}\cdots \dfrac{\lambda}{\lambda-t}\\
&=\left(\dfrac{\lambda-t}{\lambda}\right)^{-1}\left(\dfrac{\lambda-t}{\lambda}\right)^{-1}\cdots\left(\dfrac{\lambda-t}{\lambda}\right)^{-1}\\
&=\left(\dfrac{\lambda-t}{\lambda}\right)^{-\alpha}\\
&=\left(1-\dfrac{t}{\lambda}\right)^{-\alpha}\\
&=\left(1-\dfrac{t}{\beta}\right)^{-\alpha}
\end{aligned}
$$

---

4-2. Homogeniety

random variable $X$가 Gamma distribution ($\alpha, \beta$)를 따를 때,
$cX$(여기서 $c$는 scalar constant)는 parameter가 ($c\alpha, \beta$)인 Gamma distribution을 따름.

---

References

GD park. : 네이버 블로그

감마분포(Gamma Distribution) 유도 [ 내가 공부한 통계학 기초 #4 ]

2024.04.18 - [.../Math] - [Math] Probability Distribution

[Math] Probability Distribution

---