Linear Regression (Summary)
·
Programming/ML
0. Linear Regression 분류Linear Regression ├── 1. Error model 기준 │ ├── OLS 계열 │ │ ├── X: fixed or error-free │ │ ├── y: noise 있음 │ │ └── $\text{Var}(\varepsilon) = \sigma^2\mathbf{I}$│ │ │ ├── WLS 계열 │ │ ├── X: fixed or error-free │ │ ├── y: n..
[DIP] Least Squares Method for Fitting
·
Programming/DIP
Matching에서 geometric alignment와 transform estimation이 중요한 이유는, 단순히 feature vector의 유사도만을 고려하는 것보다 더 신뢰도 높은 대응점을 찾기 위해서임. Matching 과정에서 두 이미지 또는 두 데이터 세트 사이의 correspondence를 찾는 것은 첫 번째 단계에 불과하며,여기서 추가적인 geometric 정보를 활용하면 대응점의 정확도를 크게 향상시킬 수 있음.때문에 1차적으로 얻은 correpondence를 통해 geometric transform matrix를 구하는 다양한 fitting 기법이 사용됨.더보기일반적 Matching 과정 절차:Feature vector의 distance 계산하여 두 데이터 사이의 잠재적 corr..
[Fitting] Total Least Squares Regression
·
Programming/ML
Total Least Squares (TLS) RegressionTotal Least Squares (TLS) 회귀는 데이터의 모든 방향에서의 오차를 최소화하는 회귀 방법임.이는 특히 독립 변수 와 종속 변수 모두에 오차가 포함되어 있는 경우에 유용함: OLS는 종속변수 $\mathbf{y}$에만 오차를 가정.TLS는 주로 행렬 분해 기법 (SVD or EVD)을 사용하여 문제를 해결함.Fitting에서 사용되어 데이터의 모든 방향에서의 오차를 최소화시키는 regression coefficients를 찾음.2024.06.13 - [Programming/DIP] - [CV] Fitting [CV] FittingML, computer vision과 image processing에서의 Fitting목표ML, ..
[ML] RANdom SAmple Consensus (RANSAC)
·
Programming/ML
1. 정의 및 Key IdeaRANSAC (RANdom SAmple Consensus)는 많은 수의 이상치(outlier)가 있는 dataset에서도model의 parameters를 강건하게 추정하는 voting based iteration algorithm.Consensus 합의라는 의미를 가짐. RANSAC의 핵심 아이디어는voting (=inlier counting)을 사용하여모델에 잘 맞는 데이터 포인트(inliers)와 맞지 않는 데이터 포인트(outliers)를 구별하는 것임.지지하는 inliers의 수가 많은 모델을 선택: consensus set 이 가장 큰 모델을 지지.더보기왜 “Consensus”라는 용어를 사용한 이유?합의(consensus) 라는 용어는 통계적으로 더 많은 데이터 포..
[Math] Weighted Least Squares
·
.../Math
Weighted Least Squares(WLS)는sample마다 error variance가 다를 수 있다고 보고,각 residual 제곱항에 보통 $\frac{1}{\sigma_i^2}$에 비례하는 weight을 주어 추정하는 Least Squares 방법임.아래와 같이 error term의 variance가 일정하지 않은 상태: $\text{Var}(\epsilon_i)=\sigma_i^2$를 가리켜 Hetero(서로다른)scedasticity(흩어짐, 산포, dispersion)라고 하며이 같은 경우 WLS를 사용해야 한다. Weighted Least Sqaures는 각 샘플 포인트마다 weight을 다르게 주어 구하는 Least Squares임.OLS 의 경우, 모든 샘플 포인트에 동일한 wei..
[Statistics] coefficient of determination (결정계수 ~ R squared)
·
Programming/ML
Coefficient of Determination데이터에 대한 현재 regression 모델의 성능(or 적합도)를 평가함 ▷ 1에 가까울수록 좋은 모델임: [0,1]통계 (linear model 한정, 더 정확하게는 OLS w/ intercept 한정)에서 사용되는 경우에는 최소값이 0이 보장되나,ML 분야에서 regression model의 성능 평가에 사용되는 경우 음수도 나올 수 있음 "평균(mena)으로만 예측하는 단순 모델"보다 성능이 떨어지는 경우 음수를 가짐.non-linear model 등에서 데이터셋이 매우 적거나 관련없는 데이터로 가득 차 있는 경우 음수가 되는 경우 많음.ML 등에서 regression model이 얼마나 정확하게 data에 fitting 되었는지를 나타내는 met..