[ML] Gradient Descent Method: 경사하강법
·
Programming
Gradient Descent Method (경사하강법) : 1. 정의 및 수식Steepest Gradient Descent Method로도 불리는Gradient Descent Method(경사하강법)는 여러 Optimization 방법 중 가장 많이 사용되는 방법들 중 하나임.training set $X$와 현재 $t$에서의 모델의 parameters $\boldsymbol{\omega}_t$의Loss function $L(\boldsymbol{\omega}_t, X)$에서모델의 parameters $\boldsymbol{\omega}_t$에 대한 Gradient vector $\nabla_{\boldsymbol{\omega}} L(\boldsymbol{\omega}_t,X)$를 구하고,이 Grad..