calculus

[Math] Hessian : Summary

이 문서는 Numeartor Layout Convention 을 사용함. Hessian : Summary 2nd order derivative of multivariate functoin. 여기서 multivariate function은 입력은 vector, 출력은 scalar Hessian matrix는 다음과 같음. $$\begin{aligned}H[f](\textbf{x})=H(\textbf{x})&=\left(J\left[\nabla f(\textbf{x})\right]\right)^T\\ &= \begin{bmatrix}\dfrac{\partial^2 f}{\partial x_1^2} (\textbf{x})& \dfrac{\partial^2 f}{\partial {x_1} \partial{x_2..

[Math] Matrix Calculus : Numerator Layout

원본 : [Matrix Calculus](https://souryadey.github.io/teaching/material/Matrix_Calculus.pdf) 가급적 원본을 꼭 보길 권함. 1. Notation Scalar는 lower case letter로 표기. Vector는 lower case bold letter로 표기한다. row vector (dimensions $1 \times n$)이거나 column vector (dimensions $m \times 1$) 두가지가 있으나 기본적으로 column vector를 사용한다. Vector의 각각의 element는 subscript로 인덱스된 lower case letter(←scalar) $x_i$로 표기한다. Matrix는 upper cas..