...

Slater's condition은 Strong Duality의 Sufficient Condition으로 유명하고, 동시에, Slater's condition을 만족하는 경우에는 KKT가 necessary condition이 되기 위해 선행적으로 요구되는 Regularity Condtion이 성립된다는 성질을 가지고 있는 조건임. Slater's condition은 convex optimization인 경우에만 성립되는 조건인데, KKT conditions가 convex optimization에서는 necessary sufficient condition이 되기 때문에, 결국 Slater's condition을 만족할 경우, KKT conditions를 통해 optimal solution을 찾을 수 있게 ..

Standard Form of Optimization ProblemEquailty constraints와 Ineqaulity contraints를 가지고 있는Optimization Problem (minimization의 경우)은 다음과 같이 표현된다.  $$\begin{aligned}&\text{minimize }f(\textbf{x})\\ & \text{s.t:}\\ & g_i(\textbf{x}) \le 0, i=1,\dots,m \\ & h_j(\textbf{x})=0,j=1,\dots,k\end{aligned}$$  이 문제를 convex optimization problem이라고 한정할 경우 (이는 loss function $f(\textbf{x})$ 이 convex function 인 경우를 의..

Standard form of Optimization Problem Equailty constraints와 Ineqaulity contraints를 가지고 있는 optimization problem (minimization의 경우)은 다음과 같이 표현된다.  $$\begin{aligned}&\text{minimize }f(\textbf{x})\\ & \text{s.t:}\\ & g_i(\textbf{x}) \le 0, i=1,\dots,m \\ & h_j(\textbf{x})=0,j=1,\dots,k\end{aligned}$$  여기서 $f: \mathbb{R}^n \to \mathbb{R}$ 임.이 standard form 의 optimization problem을 가르켜, 원래 풀어야하는 문제라는 뜻에서..

Upper Bound and Supremum Wolfram MathWorld에서 언급하는 Upper Bound (상계)와 Supremum(상한) 정의는 다음과 같음. A function $f$ is said to have an upper bound $c$ if $f(\textbf{x})\le c$ for all $\textbf{x}$ in its domain. The least upper bound is called the supremum. A set is said to be bounded from above if it has an upper bound. (real number로 한정하여서 애기한다면) $f$가 가질 수 있는 모든 값들이 $c$보다 작거나 같은 경우, $c$가 upper bound가 된다..

수식 $$ r(t)=\left\{\begin{matrix} t, & t\ge 0\\ 0, & t

수식 signum function은 sign 즉 부호를 출력해주는 함수로 $\text{sgn}$으로 표기됨. $$\text{sgn} (t)=\left\{ \begin{matrix} \displaystyle \frac{t}{|t|}, & t\ne 0\\ 0, & t=0\end{matrix} \right.$$ $t=0$ 인 경우 부호가 없다는 뜻에서 0으로 지정된다. 다음으로도 많이 표시됨. $$\text{sgn} (t)=\left\{ \begin{matrix} 1, & t> 0\\ 0, & t=0 \\ -1,& t 위 식에서 보이듯이 signum 은 step function의 특별한 경우라고 생각할 수 있다. Waveform Note sgn은 special function에 속하며 odd function이..