First order condition과 함께 convexity를 판정하는 조건. Real vector space $\mathbb{R}^n$에서 $f:\mathbb{R}^n \to \mathbb{R}$이 second derivative 를 구할 수 있다면, 다음의 두 조건이 필요충분조건임. $f$ 는 convex function임. $\text{dom }f$는 convex set이고, 이에 속하는 임의의 $\textbf{x} \in \text{dom }f$에 대해 $\nabla^2 f(\textbf{x})$는 positive semi-definite 임. ($\nabla^2 f(\textbf{x})$ 은 vector에 대한 vector의 미분이라 matrix임.) $f$가 이차미분 가능하고 연속 함수인 ..

이 문서는 Numerator Layout Convention 을 사용함.Hessian : Summary 2nd order derivative of multivariable function.여기서 multivariable function은 입력은 vector, 출력은 scalar 인 함수를 의미함: ML에서의 loss function을 생각해 볼 것.Hessian matrix $H[f](\textbf{x})$는 다음과 같음.$$\begin{aligned}H[f](\textbf{x})=H(\textbf{x})&=\left(J\left[\nabla f(\textbf{x})\right]\right)^\top \\ &= \begin{bmatrix}\dfrac{\partial^2 f}{\partial x_1^2} ..