Inequality

[Math] The Cauchy-Schwarz Inequality

Vector space $V$의 모든 vector $\textbf{u}$, $\textbf{v}$에 대해 성립하는 다음의 부등식 관계를 의미함. $$|\langle\textbf{v},\textbf{u}\rangle | \le \|\textbf{v} \| \|\textbf{u}\|$$ where$\langle \textbf{u}, \textbf{v} \rangle$ : vector $\textbf{u}$와 $\textbf{v}$의 inner product.$|x|$ : scalar $x$에 대한 absolute value.$\|\textbf{u}\|$: $\textbf{u}$의 norm.증명.$\textbf{u} = \textbf{0}$ 인 경우, Cauchy-Schwarz Inequa..

[Math] Lagrangian from Standard Form using Indicator Function

Standard form of Optimization Problem Equailty constraints와 Ineqaulity contraints를 가지고 있는 optimization problem (minimization의 경우)은 다음과 같이 표현된다. $$\begin{aligned}&\text{minimize }f(\textbf{x})\\ & \text{s.t:}\\ & g_i(\textbf{x}) \le 0, i=1,\dots,m \\ & h_j(\textbf{x})=0,j=1,\dots,k\end{aligned}$$ 이 문제를 convex optimization problem이라고 한정 ( $f(\textbf{x})$ 이 convex function)할 경우, constraint가 없다면 간단히..