[BFGS]BFGS(Broyden-Fletcher-Goldfarb-Shanno algorithm)는 대표적인 Quasi-Newton method(준-뉴턴 방법) 중 하나임.고차원 문제에서는 L-BFGS가 더 많이 사용됨L-BFGS 는 BFGS가 전체 matrix를 메모리에 적재하는 것을 개선한 버전으로 주로 많이 이용됨(L= Limited-meory) 더보기BFGS는 1970년에 4명의 연구자 (Broyden-Fletcher-Goldfarb-Shanno 가 독립적으로 서로 다른 방식의 접근을 통해 동일한 업데이트식을 도출해 낸 걸로 유명한 알고리즘. 이들 4명의 연구자들의 이름을 따서 BFGS 가 됨. 당시 널리 사용되던 DFP(Davidon-Fletcher-Powell) 방법의 단점을 보완하기 위해 개..

Prerequistes모델 학습의 목표는손실 함수 $L(\boldsymbol{\omega}, \textbf{X})$를 최소화하는파라미터 $\boldsymbol{\omega}$를 찾는 것임.이때 가장 기본적인 최적화 방법은 Gradient Descent(경사 하강법)임:$$\boxed{\boldsymbol{\omega}_{t+1} = \boldsymbol{\omega}_t - \eta \nabla_{\boldsymbol{\omega}} L(\boldsymbol{\omega}_t, \textbf{X})}$$where,$\boldsymbol{\omega}_t$: $t$번째 스텝의 파라미터$\eta > 0$: 학습률(learning rate)$\nabla_{\boldsymbol{\omega}} L(\boldsy..

다음은 Scalar-Valued Function에 기반.증가/감소Function 의 증가/감소 는 1st derivative 으로 판정 가능.$\frac{df(a)}{dx} > 0 $ 이면, $f(x)$는 $x=a$ 에서 증가 상태임.$\frac{df(a)}{dx} 미분가능한 함수에서 극값(극대/극소)의 조건-Extremum Point$x=a$가 extremum point에서 $f(x)$가 extremum value 이려면$\frac{df(a)}{dx} =0$ 이 성립multi-variable function 인 경우, gradient가 0.2023.07.10 - [.../Math] - [Math] Stationary point (or Critical point) [Math] Stationary poin..

Camera Model Parameter Estimation: $\underset{\textbf{x}}{\text{argmin }} \mathbf{x}^\top A^\top A \mathbf{x}$Camera Model Parameter Estimation 문제를$$\underset{\mathbf{x}}{\text{argmin }} \mathbf{x}^\top A^\top A \mathbf{x} \\ \text{subject to } \ ||\mathbf{x}||=1$$constrained optimization problem로 유도하는 과정을 설명함.Camera Model Parameter Estimation의 기본 배경Camera Model Matrix $P$ (projection matrix라고도..

Non-linear Problem많은 공학적 방법들이 linear problem 을 가정하고 있지만현실 세계의 많은 문제는 본질적으로 비선형(non-linear)임.2024.06.01 - [.../Math] - [Math] Optimization Problem 의 종류 [Math] Optimization Problem 의 종류Optimization Problem의 종류1. Minimization Problem vs. Maximization Problem일반적인 최적화 문제 는 최소화 문제로 공식화될 수 있음. 이는 다음과 같이 표현됨:$$\underset{\boldsymbol{\omega}}{\min} f(\boldsymbol{\omega})$$dsaint31.tistory.com 비선형 문제(non-l..

Optimization Problem의 종류1. Minimization Problem vs. Maximization Problem일반적인 최적화 문제 는 최소화 문제로 공식화될 수 있음. 이는 다음과 같이 표현됨:$$\underset{\boldsymbol{\omega}}{\min} f(\boldsymbol{\omega})$$이는 다음의 제약 조건에 종속됨:$m$개의 부등식 제약 조건: $g_i(\boldsymbol{\omega}) \le 0$$p$개의 등식 제약 조건: $h_j(\boldsymbol{\omega}) = 0$여기서:$f(\boldsymbol{\omega})$: $\boldsymbol{\omega}$의 scalar-valued objective function (실값 함수 또는 스칼라 필드)..