1. M-Estimator란
M- Estimator는 Noise 에 Rubust 한 Statistical Estimator(통계적추정방법) 의 하나로서,
Maximum Likelihood Estimatro (MLE)를 일반화한 방법임.
- 이는 모델 parameter θ를 추정하기 위해
- residual r에 대한 특정 object function을 정의하여 최소함.
기존의 Least Square 에서 사용하는 object function인 ‖r‖2 대신에,
outlier에 더 강건한 object function인 ρ(r)를 정의하여 사용함.
2. Optimizer Problem으로 나타낸 M-Estimator
일반적인 M-Estimator를 optimization problem 으로 나타내면 다음과 같음.
ˆθ=arg minθM∑i=1ρ(ri)
where
- ˆθ: 최적의 model parameter
- ri: i번째 instance의 residual error vector임.
- θ: model parameter vector.
2-1. M-Esitmator에서의 핵심
M-Esitmator에서의 핵심은 바로 ρ(ri)임.
- 해당 함수가 noise에 강건해야, Least Square보다 좋은 성능이 가능해짐
- 즉, 해당 함수는 Outlier가 미치는 영향에 robust하도록 작성됨.
2-2. 대표적인 ρ() 함수
대표적인 예로는 Huber Function과 Tukey Function이 있음.
다음 Huber Function의 수식임.
ρ(r)={12||r||2,||r||≤c12c(2||r||−c),||r||>c
where
- c 이상의 residual error의 경우는 전체 Object function에 미치는 영향력이 줄어듬.
Tukey Function의 경우엔 residual ‖r‖2가 일정 threshold 이상이면 아예 무시함.
3. Breakdown Point
Breakdown Point의 관점에서 볼 때,
- M-Estimator는 [0. 사이에 존재함: ρ()에 의해 결정됨.
- 참고로, LMedS는 50%이고,
- Least Square는 0%에 해당함.
Breakdown Point란:
모델이 이상치에 의해 왜곡되지 않고 정확하게 추정할 수 있는 최대 이상치 비율을 의미.
Breakdown Point가 50%라는 것은, 데이터의 절반이 이상치여도 여전히 정확한 모델을 만들 수 있다는 의미임.
관련 자료
2024.11.16 - [Programming/DIP] - [CV] Least-Median of Squares Estimation (LMedS)
[CV] Least-Median of Squares Estimation (LMedS)
Least-Median of Squares (LMedS) 추정법P. J. Rousseeuw가 제안한 강건 회귀 분석 (robust regression) 기법.LMedS는 이상치(outliers)에 대해 매우 강인한 특성을 가짐: 데이터 내 Outlier(이상치)의 비율이 매우 높을 때
dsaint31.tistory.com
https://onlinelibrary.wiley.com/doi/book/10.1002/9780470434697
'Programming > DIP' 카테고리의 다른 글
[DIP] Matching Strategies and Performance Evaluation (0) | 2024.11.26 |
---|---|
[DIP] Least Square Method for Fitting (0) | 2024.11.25 |
[OpenCV] K-Means Tree Hyper-parameters: FLANN based Matcher (1) | 2024.11.25 |
[DIP] K-Means Tree: Nearest Neighbor Search (0) | 2024.11.25 |
[CV] Optical Flow: Lucas Kanade Method (LK method, 1981) (2) | 2024.11.17 |