Critical point

[Math] Stationary point (or Critical point)

(Convex) Opimization에서 찾고자하는 solution은 objective function에 대한 local minimum이다. 이를 곧바로 찾기는 쉽지 않기 때문에, solution이 될 수 있는 후보들을 먼저 gradient (or 1st derivative)를 이용하여 찾아낸다. Convex optimization에서 solution에서 objective function의 gradient $\nabla f$는 반드시 $\textbf{0}$여야 한다 (역은 항상 true라고 보장 못함. 즉 necessary condition). 정의 $\nabla f(\textbf{x}^*)=0$ 를 만족하는 $\textbf{x}^*$를 가르켜 stationary point 또는 critical poin..