[ML] Gradient Descent Method : 경사하강법
·
Programming
Gradient Descent Method (경사하강법) 정의 및 수식 Steepest Gradient Descent Method로도 불리는 Gradient Descent Method(경사하강법)는 여러 Optimization 방법 중 가장 많이 사용되는 방법들 중 하나임. training set $X$와 현재 $t$에서의 모델의 parameters $\boldsymbol{\omega}_t$의 Loss function $L(\boldsymbol{\omega}, X)$에서 모델의 parameters $\boldsymbol{\omega}$에 대한 Gradient vector $\nabla_{\boldsymbol{\omega}} L(\boldsymbol{\omega}_t,X)$를 구하고, 이 Gradient ..