Lagrangian

Standard Form of Optimization ProblemEquailty constraints와 Ineqaulity contraints를 가지고 있는Optimization Problem (minimization의 경우)은 다음과 같이 표현된다.  $$\begin{aligned}&\text{minimize }f(\textbf{x})\\ & \text{s.t:}\\ & g_i(\textbf{x}) \le 0, i=1,\dots,m \\ & h_j(\textbf{x})=0,j=1,\dots,k\end{aligned}$$  이 문제를 convex optimization problem이라고 한정할 경우 (이는 loss function $f(\textbf{x})$ 이 convex function 인 경우를 의..

Standard form of Optimization Problem Equailty constraints와 Ineqaulity contraints를 가지고 있는 optimization problem (minimization의 경우)은 다음과 같이 표현된다.  $$\begin{aligned}&\text{minimize }f(\textbf{x})\\ & \text{s.t:}\\ & g_i(\textbf{x}) \le 0, i=1,\dots,m \\ & h_j(\textbf{x})=0,j=1,\dots,k\end{aligned}$$  여기서 $f: \mathbb{R}^n \to \mathbb{R}$ 임.이 standard form 의 optimization problem을 가르켜, 원래 풀어야하는 문제라는 뜻에서..

Lagrange Method or Lagrange Multiplier MethodLagrange Method (or Lagrange multiplier method, 라그랑지 승수법)은equality constraints를 가진 optimization problem의 solution을 쉽게 구하는 방법을 가르킨다. 이를 좀 더 자세히 애기하면,equality constraint를 1개 이상을 가지는 optimization problem을non-constraint의 optimization problem의 형태로 바꾸어주어훨씬 쉽게 optimal solution을 구하게 해준다.엄밀히 애기하면, optimal solution이 되기 위한 necessary condition을 이용하기 때문에 반드시 구한다고 ..