[Math] Laplace Distribution

Laplace 분포(Laplace Distribution) 소개

Laplace 분포(Laplace Distribution)는 다음과 같은 특징을 가지는 연속확률분포임.

• sharp한 peak(정점)
• (Normal Distribution에 비해 더) 두꺼운 꼬리(heavy tails)를 가짐.
• double exponential distribution 이라고도 불림.

이 분포는 Pierre-Simon Laplace의 이름을 따서 명명되었으며,
통계학, 금융, 신호 처리(signal processing), 기계 학습(machine learning) 등 다양한 분야에서 사용됨.

---

확률 밀도 함수(Probability Density Function, PDF)

Laplace 분포의 PDF는 다음과 같이 정의됨:

$$f(x | \mu, b) = \frac{1}{2b} \exp\left(-\frac{|x - \mu|}{b}\right)$$

where:

• $\mu$: 위치 매개변수(location parameter), 분포의 평균(mean) 및 중앙값(median).
• $b > 0$: 스케일 매개변수(scale parameter), 분포의 분산(variance)을 제어.
• $x$: 확률 변수(random variable).

---

Laplace 분포의 특성(Characteristics)

1. 모양(Shape):
   • Laplace 분포는 $\mu$에서 sharp한 peak를 가지며,
   • tail(꼬리)가 지수적으로 감소.
   • 이는 outlier(극단값)가 자주 나타나는 데이터를 모델링하기에 적합 .
2. 평균(Mean) 및 중앙값(Median):
   • 둘 다 $mu$ 임.
   • 이는 분포의 대칭성을 반영.
3. 분산(Variance):
   • 분산은 $2b^2$ 로 정의됨.
   • $b$ 값이 커질수록 분포의 폭이 넓어짐.
4. 왜도(Skewness) 및 첨도(Kurtosis):
   • 왜도는 0으로, 분포가 대칭적.
   • 첨도는 6으로, normal 분포의 첨도(3)보다 높음: Heavy Tail을 보임.

---

Laplace 분포의 활용(Application)

1. 신호 처리(Signal Processing):
   • Laplace 분포는 희소 신호(sparse signals)와 노이즈(noise)를 모델링하는 데 사용됨.
   • 예: 이미지 노이즈 제거(image denoising), 압축 센싱(compressed sensing).
2. 금융(Finance):
   • 금융 데이터는 극단적인 사건이 자주 발생하며 그 중요도가 더 큼.
   • Laplace 분포는 이런 데이터를 normal 분포보다 높은 설명력을 가짐.
3. 기계 학습(Machine Learning):
   • LASSO(Least Absolute Shrinkage and Selection Operator) 회귀에서
   • Laplace prior는 희소성(sparsity)을 촉진하는 데 사용됨: Model의 Parameters가 Sparse해짐.
4. 자연어 처리(Natural Language Processing, NLP):
   • Laplace smoothing(라플라스 스무딩)은 NLP 작업에서 zero-frequency 문제 등의 해결을 위해
   • 확률 값 조정 에서 사용됨.
5. 강건한 통계(Robust Statistics):
   • 데이터에 outlier가 포함된 경우,
   • Laplace 분포는 (정규분포에 비해 보다) 강건한 모델링을 위해 사용됨.

---

Normal Distribution과 주요 차이점

특징(Feature)	Laplace Distribution	Normal Distribution
PDF 모양(Shape)	Sharp한 peak와 두꺼운 꼬리	Smooth한 종 모양(bell-shaped curve)
꼬리(Tail Behavior)	지수적 감소(Exponential decay, thicker tails)	2차 감소(Quadratic decay, thinner tails)
분산(Variance)	$2b^2$	$\sigma^2$
적용 사례(Use Case)	Outlier가 많은 데이터	평균 근처에 데이터가 집중된 경우

---

Graph

아래는 Laplace 분포와 Normal 분포의 비교:

• Laplace 분포는 $mu$에서 sharp하게 정점을 이루고 두꺼운 꼬리를 보임.
• Normal 분포는 부드러운 변화와 얇은 꼬리를 보임.

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import laplace, norm

# Parameters for the distributions
mu = 0       # Mean (center)
b = 1        # Scale parameter for Laplace
sigma = 1    # Standard deviation for Normal

# Range of x values
x = np.linspace(-10, 10, 1000)

# PDFs
laplace_pdf = laplace.pdf(x, loc=mu, scale=b)
normal_pdf = norm.pdf(x, loc=mu, scale=sigma)

# Plotting
plt.figure(figsize=(10, 6))
plt.plot(x, laplace_pdf, label='Laplace Distribution (b=1)', linewidth=2)
plt.plot(x, normal_pdf, label='Normal Distribution (σ=1)', linewidth=2, linestyle='--')
plt.title("Comparison of Laplace and Normal Distributions", fontsize=16)
plt.xlabel("x", fontsize=14)
plt.ylabel("Probability Density", fontsize=14)
plt.legend(fontsize=12)
plt.grid(alpha=0.3)
plt.show()

---

결론(Conclusion)

• Laplace 분포는 sharp한 중심 경향과 두꺼운 꼬리를 가진 데이터를 모델링하는 데 유용한 도구.
• Outlier를 처리하는 능력과 희소 표현(sparse representation)에서의 응용에서 자주 사용됨.
• MSE와 관계가 있는 Normal Distribution과 달리, MAE와 관계가 있음.