Weighted Least Sqaure는 각 샘플 포인트마다 weight을 다르게 주어 구하는 Least Square임. OLS는 모든 샘플 포인트의 weight이 같은 Weighted Least Square라고 볼 수 있음. OLS의 경우와 마찬가지로 closed form solution을 가짐.2022.06.01 - [.../Math] - [Math] Normal Equation : Vector derivative(Numerator Layout)를 이용한 유도 [Math] Normal Equation : Vector derivative(Numerator Layout)를 이용한 유도Orinary Least Square는 다음과 같은 최소화 문제임. $$\underset{\textbf{x}}{\text{..

Bootstrap Sampling을 이해하고 활용하기Bootstrap Sampling이란 무엇인가?Bootstrap Sampling은 통계학(Statistics)과 데이터 과학(Data Science)에서 널리 사용되는 강력한 방법론(Methodology) 중 하나임.이는 기존의 데이터를 활용하여 통계적 추정치(Statistical Estimates)를 계산하고 신뢰 구간(Confidence Intervals)을 추정하는 방법임.특히, 표본의 크기(Sample Size)가 작거나 데이터의 분포(Distribution)에 대한 가정이 어려운 경우에 유용함.Bootstrap Sampling의 기본 개념Bootstrap Sampling의 핵심 아이디어는 Resampling with Replacement(복원 ..

Continuous and Smooth FunctionOptimization에서 objective function과 constraint functions은 일반적으로 continuous 이면서smooth function (= 무한차수의 derivative를 구할 수 있는 function)임.Optimization이 statonarity 와 gradient와 같은 미분에 기반하기 때문임. 2024.03.27 - [.../Math] - [Math] Continuous 와 Differentiable 의 관계 [Math] Continuous 와 Differentiable 의 관계Differentiable and Continuous Function $f(x)$가 $x=a$에서 미분 가능 ($p$) 하면 $f(x)..

Optimization Problem의 종류1. Minimization Problem vs. Maximization Problem 일반적인 최적화 문제는 최소화 문제로 공식화될 수 있음. 이는 다음과 같이 표현됨:$$\underset{\boldsymbol{\omega}}{\min} f(\boldsymbol{\omega})$$이는 다음의 제약 조건에 종속됨:$m$개의 부등식 제약 조건: $g_i(\boldsymbol{\omega}) \le 0$$p$개의 등식 제약 조건: $h_j(\boldsymbol{\omega}) = 0$여기서:$f(\textbf{x})$: $\textbf{x}$의 실값 함수 (또는 스칼라 필드)$\textbf{x}$: 입력 열 벡터 $\textbf{x} = (x_0, x_1, \dot..

Optization(최적화)란 무엇인가?Optimization(최적화)는feasible candidates(가능한 후보)들 중에서Optimal element(최적의 요소)를 찾아내는 과정임.쉽게 말해, 어떤 문제에 대해 Optimal solution을 찾는 것임.Feasible candidates (가능 후보들):최적의 요소를 찾기 위해 고려하는 후보들임.이 후보들은 보통 constraints (제약 조건)에 의해 범위가 제한됨.Objective function (목적 함수, J):Optimization에서 optimal solution을 찾기 위해 사용하는 함수를 가르키는 generic term임.실제적으로는 이 함수의 값을 가장 작게(또는 크게) 만드는 것이 optimization의 목표임.분야에 따..

Span주어진 Vector들 (=Vector set)에 대한 Span은해당 vector들의 Linear Combination을모두 포함하고 있는 Vector Set을 의미한다.참고로, 위의 정의에서 Linear Combination을 Affine Combination으로 바꾸면, Affine Hull(or Affine Span)의 정의가 됨. https://youtu.be/2CcCOgDilO8?si=1SrMJa2O_SoniQ7b&t=211 $A\mathbf{x}=\mathbf{b}$의 linear system이 consistent라는 애기는$A$의 column vectors의 Span (= column space of $A$)에 $\mathbf{b}$가 포함됨을 의미함:$\mathbf{b} \in \te..