Loading [MathJax]/jax/output/CommonHTML/jax.js
[Math] Second Order Condition : Convexity
·
.../Math
First order condition과 함께 convexity를 판정하는 조건. Second Order ConditionReal Vector Space Rn에서 f:RnR이 second derivative 를 구할 수 있다면,다음의 두 조건이 필요충분조건임.f 는 Convex Function임.dom f는 Convex Set이고, 이에 속하는 임의의 xdom f에 대해 2f(x)는 Positive Semi-Definite 임. (2f(x) 은 vector에 대한 vector의 미분이라 matrix임: Hess..
[Math] Hessian: Summary
·
Programming/DIP
이 문서는 Numerator Layout Convention 을 사용함.Hessian : Summary 2nd order derivative of multivariable function.여기서 multivariable function은 입력은 vector, 출력은 scalar 인 함수를 의미함: ML에서의 loss function을 생각해 볼 것.Hessian matrix H[f](x)는 다음과 같음.$$\begin{aligned}H[f](\textbf{x})=H(\textbf{x})&=\left(J\left[\nabla f(\textbf{x})\right]\right)^\top \\ &= \begin{bmatrix}\dfrac{\partial^2 f}{\partial x_1^2} ..