이 문서는 Numerator Layout Convention 을 사용함.Hessian : Summary 2nd order derivative of multivariable function.여기서 multivariable function은 입력은 vector, 출력은 scalar 인 함수를 의미함: ML에서의 loss function을 생각해 볼 것.Hessian matrix $H[f](\textbf{x})$는 다음과 같음.$$\begin{aligned}H[f](\textbf{x})=H(\textbf{x})&=\left(J\left[\nabla f(\textbf{x})\right]\right)^\top \\ &= \begin{bmatrix}\dfrac{\partial^2 f}{\partial x_1^2} ..

원본 : [Matrix Calculus](https://souryadey.github.io/teaching/material/Matrix_Calculus.pdf)가급적 원본을 꼭 보길 권함. 1. NotationScalar는 lower case letter로 표기: $x$Vector는 lower case bold letter로 표기: $\textbf{x}=\langle x_1, x_2, x_3 \rangle^\top$row vector (dimensions $1 \times n$)이거나column vector (dimensions $m \times 1$)두 가지가 있으나 기본적으로 (이 문서에서는) column vector를 사용한다. Vector의 각각의 element는 subscript로 인덱스된 lo..