[Math] Maximum Likelihood Estimator: M-Estimator

1. M-Estimator란

M- Estimator는 Noise 에 Rubust 한 Statistical Estimator(통계적추정방법) 의 하나로서,

Maximum Likelihood Estimatro (MLE)를 일반화한 방법임.

• 이는 모델 parameter $\boldsymbol{\theta}$를 추정하기 위해
• residual $\mathbf{r}$에 대한 특정 object function을 정의하여 최소함.

기존의 Least Square 에서 사용하는 object function인 $\|\mathbf{r}\|^2$ 대신에,

outlier에 더 강건한 object function인 $\rho(\mathbf{r})$를 정의하여 사용함.

---

2. Optimizer Problem으로 나타낸 M-Estimator

일반적인 M-Estimator를 optimization problem 으로 나타내면 다음과 같음.

$$\hat{\boldsymbol{\theta}} = \underset{ \boldsymbol{\theta} }{\text{arg min}} \displaystyle\sum^M_{i=1}\rho(\textbf{r}_i)$$

 

where

• $\hat{\boldsymbol{\theta}}$: 최적의 model parameter
• $\mathbf{r}_i$: $i$번째 instance의 residual error vector임.
• $\boldsymbol{\theta}$: model parameter vector.

---

2-1. M-Esitmator에서의 핵심

M-Esitmator에서의 핵심은 바로 $\rho(\mathbf{r}_i)$임.

• 해당 함수가 noise에 강건해야, Least Square보다 좋은 성능이 가능해짐
• 즉, 해당 함수는 Outlier가 미치는 영향에 robust하도록 작성됨.

---

2-2. 대표적인 $\rho()$ 함수

대표적인 예로는 Huber Function과 Tukey Function이 있음.

 

다음 Huber Function의 수식임.

$$\rho(\textbf{r})=\left\{\begin{matrix}\dfrac{1}{2}||\textbf{r}||^2, & ||\textbf{r}||\le c\\\dfrac{1}{2}c\left(2||\textbf{r}||-c\right), & ||\textbf{r}||>c\end{matrix}\right.$$

where

• $c$ 이상의 residual error의 경우는 전체 Object function에 미치는 영향력이 줄어듬.

 

Tukey Function의 경우엔 residual $\|\mathbf{r}\|^2$가 일정 threshold 이상이면 아예 무시함.

---

3. Breakdown Point

Breakdown Point의 관점에서 볼 때,

• M-Estimator는 $[0.%, 50.%]$ 사이에 존재함: $\rho()$에 의해 결정됨.
• 참고로, LMedS는 50%이고,
• Least Square는 0%에 해당함. 

Breakdown Point란:
모델이 이상치에 의해 왜곡되지 않고 정확하게 추정할 수 있는 최대 이상치 비율을 의미.
Breakdown Point가 50%라는 것은, 데이터의 절반이 이상치여도 여전히 정확한 모델을 만들 수 있다는 의미임.

---

관련 자료

2024.11.16 - [Programming/DIP] - [CV] Least-Median of Squares Estimation (LMedS)

[CV] Least-Median of Squares Estimation (LMedS)

 

https://onlinelibrary.wiley.com/doi/book/10.1002/9780470434697

Robust Statistics - 2009 - Huber - Frontmatter.pdf

0.44MB

 

 

---