Processing math: 100%
[Math] Hessian: Summary
·
Programming/DIP
이 문서는 Numerator Layout Convention 을 사용함.Hessian : Summary 2nd order derivative of multivariable function.여기서 multivariable function은 입력은 vector, 출력은 scalar 인 함수를 의미함: ML에서의 loss function을 생각해 볼 것.Hessian matrix H[f](x)는 다음과 같음.$$\begin{aligned}H[f](\textbf{x})=H(\textbf{x})&=\left(J\left[\nabla f(\textbf{x})\right]\right)^\top \\ &= \begin{bmatrix}\dfrac{\partial^2 f}{\partial x_1^2} ..
[Math] Commonly used Vector derivatives.
·
.../Math
많이 사용되는 vector 도함수들을 정리함. Numeartor Layout 과 Denominator Layout을 구분하여 살펴야 함. f(x) f(x)x Convention f(x) df(x)dx xTb bT Numerator Layout bx b bTx bT Numerator Layout bx b bx or $\textbf{x}\cdot \textbf{..