Inequality

[Math] The Cauchy-Schwarz Inequality

Vector space $V$의 모든 vector $\textbf{u}$, $\textbf{v}$에 대해 성립하는 다음의 부등식 관계를 의미함. $$|\langle\textbf{v},\textbf{u}\rangle | \le \|\textbf{v} \| \|\textbf{u}\|$$ where$\langle \textbf{u}, \textbf{v} \rangle$ : vector $\textbf{u}$와 $\textbf{v}$의 inner product.$|x|$ : scalar $x$에 대한 absolute value.$\|\textbf{u}\|$: $\textbf{u}$의 norm.증명.$\textbf{u} = \textbf{0}$ 인 경우, Cauchy-Schwarz Inequality의 양 sid..

[Math] Lagrangian from Standard Form using Indicator Function

Standard Form of Optimization ProblemEquailty constraints와 Ineqaulity contraints를 가지고 있는Optimization Problem (minimization의 경우)은 다음과 같이 표현된다. $$\begin{aligned}&\text{minimize }f(\textbf{x})\\ & \text{s.t:}\\ & g_i(\textbf{x}) \le 0, i=1,\dots,m \\ & h_j(\textbf{x})=0,j=1,\dots,k\end{aligned}$$ 이 문제를 convex optimization problem이라고 한정할 경우 (이는 loss function $f(\textbf{x})$ 이 convex function 인 경우를 의..