Sequence수열, 열 이라고 불림.numbers나 objects 들이 순서를 가지고(ordered) 나열된 것을 가리킴.order(순서)가 의미를 가지며, (order가 다르기 때문에 )중복이 허용이 된다.대표적인 예로 arithmetic sequence(등차수열), geometric sequence(등비수열), Fibonacci sequence 등이 있음. 중복이 허용된다는 점과 순서가 의미를 가진다는 점이 set과 가장 큰 차이점들임. sequence에서는 1,2,3과 2,1,3, 3,1,2 모두 다른 sequence임(구성하고있는 number는 같지만 순서가 다름.)이들을 set이라고 본다면 같은 set이 됨. Python의 list, str, tuple등이 sequence를 추상화한 class..

Stationary point (or Critical point, 정류점)$\nabla f(x)=\mathbf{0}$ 가 성립하는 지점을 stationary point라고 부르며, solution이 될 수 있는 candidate임. (Convex) Opimization에서 찾고자하는 solution은 objective function에 대한 local minimum이다.이를 곧바로 찾기는 쉽지 않기 때문에, solution이 될 수 있는 candidates(후보점들)를 먼저 gradient (or 1st order derivative)를 이용하여 찾아낸다.Convex optimization에서 solution에서 objective function의 gradient $\nabla f$는 반드시 $\text..

First order condition과 함께 convexity를 판정하는 조건. Second Order ConditionReal Vector Space $\mathbb{R}^n$에서 $f:\mathbb{R}^n \to \mathbb{R}$이 second derivative 를 구할 수 있다면,다음의 두 조건이 필요충분조건임.$f$ 는 Convex Function임.$\text{dom }f$는 Convex Set이고, 이에 속하는 임의의 $\textbf{x} \in \text{dom }f$에 대해 $\nabla^2 f(\textbf{x})$는 Positive Semi-Definite 임. ($\nabla^2 f(\textbf{x})$ 은 vector에 대한 vector의 미분이라 matrix임: Hess..

domain의 convex set인 function $f:\mathbb{R}^n\to\mathbb{R}$가 convex function임을 보이기 위한 조건. Theorem Vector space $\mathbb{R}^n$에서 정의된 function $f:\mathbb{R}^n\to\mathbb{R}$가 differentiable 일 경우, 다음 두 조건이 necessary and sufficient condition임. function $f$는 convex function임. domain $\text{dom }f$는 convex set이고, 임의의 $\textbf{x}_1, \textbf{x}_2 \in \text{dom }f$에 대해 다음이 성립. $$f(\textbf{x}_1) \ge f(\text..

Linear Programming and Quadratic Programming우리나라 말로 번역하면, 선형계획법 또는 이차계획법 으로 불림.약어로 LP, QP로 자주 사용한다. 참고로 Programming이라고 이름이 붙어있지만 이는 computer programming과는 상관이 없고, optimization problem(최적화 문제)를 가르키는 용어이다.컴퓨터 프로그래밍이 이렇게 널리 사용되기 이전부터 사용되던 용어임.Optimization에서 사용되는 programming이라는 용어는프로그래머의 관점으로 해석한다면 problem 또는 optimization problem으로 생각하면 된다. optimization problem은 object function과 constraints들로 정의가 되기..

Regular Points (정규점)정의Consider the constrained optimization problem of minimizing $f(\textbf{x})$ subject to the constraints $h_i(\textbf{x})=0, i=1 \text { to } p$. A point $\textbf{x}^*$ satisfying the constraints is said to be a regular point (정규점) of the feasible setif $f(\textbf{x}^*)$ is differentiable andgradient vectors of all constraints at the point $\textbf{x}^*$ are linearly independ..