Weighted Least Sqaure는 각 샘플 포인트마다 weight을 다르게 주어 구하는 Least Square임.
OLS는 모든 샘플 포인트의 weight이 같은 Weighted Least Square라고 볼 수 있음.
OLS의 경우와 마찬가지로 closed form solution을 가짐.
2022.06.01 - [.../Math] - [Math] Normal Equation : Vector derivative(Numerator Layout)를 이용한 유도
[Math] Normal Equation : Vector derivative(Numerator Layout)를 이용한 유도
Orinary Least Square는 다음과 같은 최소화 문제임. $$\underset{\textbf{x}}{\text{argmin}}\|\textbf{b}-A\textbf{x}\|_2^2$$ $\|\textbf{b}-A\textbf{x}\|_2^2$를 전개하면 다음과 같음. $$\begin{aligned}\|\textbf{b}-A\textbf{x}\|_2^2&=(\textb
dsaint31.tistory.com
2022.04.28 - [.../Math] - Ordinary Least Squares : OLS, 최소자승법
Ordinary Least Squares : OLS, 최소자승법
Solution을 구할 수 없는 Over-determined system에서 solution의 근사치(approximation)을 구할 수 있게 해주는 방법임. Machine Learning에서 Supervised Learning의 대표적인 task인 Regression을 해결하는 가장 간단한 알고
dsaint31.tistory.com
Objective Function (=Loss function)에 기반하여 다음의 식으로 표현됨.
$$\begin{aligned} \hat{\textbf{x}} &= \text{arg } \underset{\text{x}}{\text{min}} \Vert W(A\textbf{x}-\textbf{b}) \Vert \\ &=\text{arg } \underset{\text{x}}{\text{min} } \Vert W (A\textbf{x}-\textbf{b}) \Vert ^2 \\ &=\text{arg } \underset{\text{x}}{\text{min} } \text{ loss_func} \end{aligned}$$
- $W$ 는 각 샘플별 weight로 main diagnal이 이루어지고, off-diagonal은 모두 0임.
- $W=\text{diag}(\sqrt{w_1}, \cdot, \sqrt{w_n})$ 으로, $n$은 샘플 포인트 수임.
이를 풀면 다음과 같음.
우선 최소값에서 1st derivative는 0을 만족해야함.
$$\begin{aligned} \frac{d \Vert W(A\textbf{x}-\textbf{b})\Vert ^2}{d\textbf{x}} &=2(WA)^T W(A\textbf{x}-\textbf{b} ) \\ &=0 \end{aligned}$$
이로부터 구한 solution은 다음과 같음 (Normal Equation과 유사함).
$$\begin{aligned} \textbf{x}&=(A^TW^TWA)^{-1}A^TW^T\textbf{b}\end{aligned}$$
같이 보면 좋은 자료들
2022.04.28 - [.../Math] - Normal Equation : Vector derivative 를 이용한 유도
Normal Equation : Vector derivative 를 이용한 유도
Normal Equation : Vector derivative 를 이용한 유도OLS (Ordinal Least Square)에서 approximation of solution $\hat{\textbf{x}}$는 다음을 만족해야 함.$$\begin{aligned}\hat{\textbf{x}} &= \text{arg } \underset{\text{x}}{\text{min}} \Ver
dsaint31.tistory.com
2022.04.29 - [.../Math] - Closed-form solution and Closed-form expression
Closed-form solution and Closed-form expression
Closed-form solution 💡 Solution(해)이 closed-form expression으로 주어진 것을 가르킴. 다음의 문장들 은 위와 같은 뜻. 방정식(equation)을 analytic method로 solution을 구할 수 있다. equation의 solution이 closed-form solu
dsaint31.tistory.com
'... > Math' 카테고리의 다른 글
| [Math] Homogeneous Coordinate and Projective Geometry (1) | 2024.06.16 |
|---|---|
| [CV] Intersection and Ideal Point; Homogeneous Coordinate and Cross Product (1) | 2024.06.16 |
| [ML] Bootstrap Sampling (2) | 2024.06.05 |
| [Math] Importance of Continuous and Smooth Functions in Optimization Problems (0) | 2024.06.01 |
| [Math] Optimization Problem 의 종류 (0) | 2024.06.01 |