다음은 Scalar-Valued Function에 기반.증가/감소Function 의 증가/감소 는 1st derivative 으로 판정 가능.$\frac{df(a)}{dx} > 0 $ 이면, $f(x)$는 $x=a$ 에서 증가 상태임.$\frac{df(a)}{dx} 미분가능한 함수에서 극값(극대/극소)의 조건.$x=a$가 extremum point에서 $f(x)$가 extremum value 이려면$\frac{df(a)}{dx} =0$ 이 성립multi-variable function 인 경우, gradient가 0.2023.07.10 - [.../Math] - [Math] Stationary point (or Critical point) [Math] Stationary point (or Critical..

Camera Model Parameter Estimation: $\underset{\textbf{x}}{\text{argmin }} \mathbf{x}^\top A^\top A \mathbf{x}$Camera Model Parameter Estimation 문제를$$\underset{\mathbf{x}}{\text{argmin }} \mathbf{x}^\top A^\top A \mathbf{x} \\  \text{subject to } \ ||\mathbf{x}||=1$$constrained optimization problem로 유도하는 과정을 설명함.Camera Model Parameter Estimation의 기본 배경Camera Model Matrix $P$ (projection matrix라고도..

First order condition과 함께 convexity를 판정하는 조건. Second Order ConditionReal Vector Space $\mathbb{R}^n$에서 $f:\mathbb{R}^n \to \mathbb{R}$이 second derivative 를 구할 수 있다면,다음의 두 조건이 필요충분조건임.$f$ 는 Convex Function임.$\text{dom }f$는 Convex Set이고, 이에 속하는 임의의 $\textbf{x} \in \text{dom }f$에 대해 $\nabla^2 f(\textbf{x})$는 Positive Semi-Definite 임. ($\nabla^2 f(\textbf{x})$ 은 vector에 대한 vector의 미분이라 matrix임: Hess..

Linear Programming and Quadratic Programming우리나라 말로 번역하면, 선형계획법 또는 이차계획법 으로 불림.약어로 LP, QP로 자주 사용한다. 참고로 Programming이라고 이름이 붙어있지만 이는 computer programming과는 상관이 없고, optimization problem(최적화 문제)를 가르키는 용어이다.컴퓨터 프로그래밍이 이렇게 널리 사용되기 이전부터 사용되던 용어임.Optimization에서 사용되는 programming이라는 용어는프로그래머의 관점으로 해석한다면 problem 또는 optimization problem으로 생각하면 된다. optimization problem은 object function과 constraints들로 정의가 되..

Slater's condition은 Strong Duality의 Sufficient Condition으로 유명하고, 동시에, Slater's condition을 만족하는 경우에는 KKT가 necessary condition이 되기 위해 선행적으로 요구되는 Regularity Condtion이 성립된다는 성질을 가지고 있는 조건임. Slater's condition은 convex optimization인 경우에만 성립되는 조건인데, KKT conditions가 convex optimization에서는 necessary sufficient condition이 되기 때문에, 결국 Slater's condition을 만족할 경우, KKT conditions를 통해 optimal solution을 찾을 수 있게 ..

KKT ConditionsKKT조건은inequality constraints을 가지는 constrained optimization problem의optimal solution이 만족해야하는 necessary condition들의 집합(4개의 necessary conditions)임.Lagransian multiplier (or dual variable)를 도입하여 equality constraints를 가지는 contrained optimization problem을 unconstrained optimization으로 바꾸어 푸는 방식 (=Lagrange Method) 에서의 necessary condition을 inequality contraints를 가지는 경우로 확장 한 것임. necessary c..