Prerequistes모델 학습의 목표는손실 함수 $L(\boldsymbol{\omega}, \textbf{X})$를 최소화하는파라미터 $\boldsymbol{\omega}$를 찾는 것임.이때 가장 기본적인 최적화 방법은 Gradient Descent(경사 하강법)임:$$\boxed{\boldsymbol{\omega}_{t+1} = \boldsymbol{\omega}_t - \eta \nabla_{\boldsymbol{\omega}} L(\boldsymbol{\omega}_t, \textbf{X})}$$where,$\boldsymbol{\omega}_t$: $t$번째 스텝의 파라미터$\eta > 0$: 학습률(learning rate)$\nabla_{\boldsymbol{\omega}} L(\boldsy..

다음은 Scalar-Valued Function에 기반.증가/감소Function 의 증가/감소 는 1st derivative 으로 판정 가능.$\frac{df(a)}{dx} > 0 $ 이면, $f(x)$는 $x=a$ 에서 증가 상태임.$\frac{df(a)}{dx} 미분가능한 함수에서 극값(극대/극소)의 조건.$x=a$가 extremum point에서 $f(x)$가 extremum value 이려면$\frac{df(a)}{dx} =0$ 이 성립multi-variable function 인 경우, gradient가 0.2023.07.10 - [.../Math] - [Math] Stationary point (or Critical point) [Math] Stationary point (or Critical..

Camera Model Parameter Estimation: $\underset{\textbf{x}}{\text{argmin }} \mathbf{x}^\top A^\top A \mathbf{x}$Camera Model Parameter Estimation 문제를$$\underset{\mathbf{x}}{\text{argmin }} \mathbf{x}^\top A^\top A \mathbf{x} \\ \text{subject to } \ ||\mathbf{x}||=1$$constrained optimization problem로 유도하는 과정을 설명함.Camera Model Parameter Estimation의 기본 배경Camera Model Matrix $P$ (projection matrix라고도..

Gradient Descent Method (경사하강법) : 1. 정의 및 수식Steepest Gradient Descent Method로도 불리는Gradient Descent Method(경사하강법)는 여러 Optimization 방법 중 가장 많이 사용되는 방법들 중 하나임.training set $X$와 현재 $t$에서의 모델의 parameters $\boldsymbol{\omega}_t$의Loss function $L(\boldsymbol{\omega}_t, X)$에서모델의 parameters $\boldsymbol{\omega}_t$에 대한 Gradient vector $\nabla_{\boldsymbol{\omega}} L(\boldsymbol{\omega}_t,X)$를 구하고,이 Grad..

First order condition과 함께 convexity를 판정하는 조건. Second Order ConditionReal Vector Space $\mathbb{R}^n$에서 $f:\mathbb{R}^n \to \mathbb{R}$이 second derivative 를 구할 수 있다면,다음의 두 조건이 필요충분조건임.$f$ 는 Convex Function임.$\text{dom }f$는 Convex Set이고, 이에 속하는 임의의 $\textbf{x} \in \text{dom }f$에 대해 $\nabla^2 f(\textbf{x})$는 Positive Semi-Definite 임. ($\nabla^2 f(\textbf{x})$ 은 vector에 대한 vector의 미분이라 matrix임: Hess..

Linear Programming and Quadratic Programming 우리나라 말로 번역하면, 선형계획법 또는 이차계획법 으로 불림.약어로 LP, QP로 자주 사용한다. 참고로 Programming이라고 이름이 붙어있지만 이는 computer programming과는 상관이 없고, optimization problem(최적화 문제)를 가르키는 용어이다.컴퓨터 프로그래밍이 이렇게 널리 사용되기 이전부터 사용되던 용어임.Optimization에서 사용되는 programming이라는 용어는프로그래머의 관점으로 해석한다면 problem 또는 optimization problem으로 생각하면 된다. optimization problem은 object function과 constraints들로 정의가 되..