Vector $\mathbf{x}$ 와 Matrix $A$가 주어졌을 때,$\mathbf{x}^\top A^\top A \mathbf{x}$의 minimum (or lower bound)를 구하는 방법에 대해Singular Value Decomposition(SVD)와 Eigenvalue Decomposition(EVD)을 이용하는 방법. $\underset{\mathbf{x}}{\text{argmin }}\mathbf{x}^\top A^\top A\mathbf{x}$는Total Least Squares 등에서 많이 애용되는 형태의 최소화 문제임.SVD를 이용한 lower bound 계산 방법SVD는 matrix을 세 개의 행렬로 분해하는 방법임.행렬 $A$의 SVD는 다음과 같이 표현됨:$$A = U ..

Geometric Camera Model (or Camera Model)은 real world 와  camera의 pose에 따라,real world 와  camera의 image 간의 관계를approximation 함. 이 문서에서는 기본적인 Pinhole Camera Model에 기반하여 설명함.pinhole camera는 매우 기본적인 image acquisition의 수단임.초점이 잘 맺어진 선명한 상을 얻기 위한 가장 쉬운 방법이지만,light이 작은 구멍(pinhole)을 통해 들어오기 때문에 매우 긴 촬영시간 (~노출시간, exposure time)이 필요함.때문에 현재의 카메라는 모두 lens기반임.2024.08.09 - [Programming/DIP] - [CV] Ideal Pinhole..

Total Least Squares (TLS) RegressionTotal Least Squares (TLS) 회귀는 데이터의 모든 방향에서의 오차를 최소화하는 회귀 방법임.이는 특히 독립 변수와 종속 변수 모두에 오차가 포함되어 있는 경우에 유용함.TLS는 주로 행렬 분해 기법 (SVD or EVD)을 사용하여 문제를 해결함.Fitting에서 사용되어 데이터의 모든 방향에서의 오차를 최소화시키는 regression coefficients를 찾음.2024.06.13 - [Programming/DIP] - [CV] Fitting [CV] Fittingcomputer vision과 image processing에서의 Fitting목표computer vision과 image processing에서 Fittin..

Out of Bag (OOB)는 Bagging (Bootstrap aggregating)과 같이 Bootstraping을 이용한 Ensemble Model에 등장하는 용어. Bootstrap Sampling을 사용할 경우, 특정 predictor를 훈련시킬 때 sample point는 여러번 사용될 수 있음.이는 다른 특정 sample point는 아예 해당 predictor를 훈련시킬 때 사용되지 않음을 의미함.확률을 계산해보면, 평균적으로 대략 36.7%의 sample point가 특정 predictor를 훈련시킬 때 사용되지 않음. 이들은 훈련에서 사용되지 않으므로 해당 predictor에 대한 일종의 validation set으로 사용가능함.이같은 sample point를 가르켜 out of ba..

Lagrange method의 tangency condition에서gradient vectortangent vector의 이해를 돕는 example이 예제는 Lagrange 방법의tangency condition이어떻게 gradient vector와 tangent vector의 관계를 통해optimal solution(or optimal point)를 찾는지에 대한 이해를 도움.예제: constrained optimization problem다음의 Optimization Problem 고려:$$\text{maximize } f(x,y) = x^2+y^2 \\ \text{s.t. } g(x,y)=x+y-1=0$$ 여기서Object function $f(x, y)$ 는 $x^2 + y^2$이고,constra..

Example 1 :$x$, $y$ 가 조건 $g(x,y)=2x−y−10=0$을 만족할 때, $f=x^2+y^2$의 global minimum(최솟값)을 구하라.Lagrangian$L=x^2+y^2+\lambda (2x-y-10)$풀이Tangency condition 에 의해 최솟값을 가지는 $x,y$에서 다음이 성립.$\dfrac{\partial L}{\partial x}=2x+2\lambda=0$ , $\lambda = -x$$\dfrac{\partial L}{\partial y}=2y-\lambda=0, \lambda=2y$1, 2로부터 Lagrange multiplier $\lambda$ 만족하는 식은 다음과 같음.$$\lambda = -x = 2y$$ constraints $g(x,y)=0$ 을..