Gradient (구배, 기울기, 경사, 경도), $\nabla f(\textbf{x})$Multi-Variate Function (=Scalar Field, Multi-Variable Function) $f(\textbf{x})$에서 input $\textbf{x}$의 미세한 변화에 대해 (scalar) output이 1) 가장 가파르게 증가하는 direction(방향)과 2) 그 증가하는 변화율의 정도를 magnitude(크기)로 가지는 Vector Field (Multi-Variable Vector Valued Function)를 구하는 것이바로 Gradient $f(\textbf{x})$=$\nabla f(\textbf{x})$임. Gradient를 통해, scalar field $f(\textb..

Multi-Variate Function (or Scalar Field, Multi-Variable Function)에서는 Input Variable이 여러개, 즉, input이 vector이기 때문에 각각의 input variable의 변화량에 따라 output이 어떻게 변화하는지를 고려하여Derivative (도함수)를 구해야함. 이를 고려하여 하나의 input variable을 기준으로 미분을 수행한 것이 바로 Pratial Derivative임.- 이들을 모아서 column vector로 표기한 것을 Gradient라고 하며, - 이들을 row vector로 표기한 것을 1st order derivative에 해당하는 Jacobian 이라고도 부름: 차이는 - Gradient는 일반적으로 항상 (..