LU Factorization와 Gauss EliminationLU Factorization은행렬 $A$ 를 다음과 같이 두 행렬 $L$ (Lower Triangular Matrix)와 $U$ (Upper Triangular Matrix)로 분해하는 기법임:$$PA = LU$$여기서 $P$ 는 Permutation Matrix로, 피벗팅(pivoting)을 통해 행 교환 정보를 기록함.Permutation이 없는 경우는 다음과 같음:$$A = LU$$ 사실 Square Full Rank Matrix가 아닌 경우에도 LU Factorization은 적용가능하고, 이 경우, $U$는 REF가 된다. LU Factorization은 LU Decomposition이라고도 불림. 핵심 개념: $L$과 Elemen..

Gram-Schmidt Process는 임의의 Subspace $W$에서 Orthogonal Basis를 찾는 과정임. 0. Pre-Requirements우선 다음을 기억하자Basis에 속하는 Vector들로 Span 하면, Subppace $W$ 내의 모든 Vector를 표현가능!Basis 에 속하는 모든 Vector들이 서로 서로 Linear Indepedent임만약 한 걸음 더 나아가 Basis의 모든 Vector들이 서로 Orthogonal인 경우, 해당 Basis는 Orthogonal Basis 이 됨.한 걸음 더 나아가 Basis의 모든 Vector 들의 l2-Norm이 1이 되면(unit vector), 해당 Basis는 Orthonormal Basis임.2024.10.28 - [.../Ma..

1. Inverse Matrix and Linear SystemLinear Algebra 의 가장 기본적인 응용은 Linear System (선형연립방정식)을 푸는 용도임.다음은 Linear System의 Matrix Equation임.$$A\mathbf{x}=\mathbf{b}$$ Inverse는 이 Linear Ssytem의 Solution $\mathbf{x}$를 어찌보면 가장 기본적으로 푸는 방법이라고 볼 수 있음: $$\begin{aligned} A\mathbf{x} &= \mathbf{b} \\ A^{-1}A\mathbf{x} &= A^{-1}\mathbf{b} \\ I \mathbf{x} &= A^{-1}\mathbf{b} \\ \mathbf{x} &= A^{-1}\mathbf{b} \end..

Square Full-Rank Matrix의 Inverse를 Cramer's rule에 기반하여 구하는 방식은 실제 Inverse를 구하는 용도로는 많이 사용되지는 않는다.재귀적 방식인지라, 대상이 되는 Square Matrix의 크기가 커질 경우 매우 비효율적이기 때문임.단, $3\times 3$ 이하의 작은 크기이거나, Complex Number 로 인해 Row Reduction 등이 효과적이지 못한 경우에는 inverse를 구하는데 사용되기도 함.주요 용도는 Theoretical Tool로서 inverse를 다 구하지 않고도, $A\mathbf{x}=\mathbf{b}$에서 $\mathbf{b}$의 작은 변화가$\mathbf{x}$에 얼마나 영향을 주는지 등을 살피는 것임. 주요행렬이 방식에서 중간..

Quadratic Form : Scalar 에서 이차식 (Quadratic Expression) $a x^2$의 일반형. Definition of Quadratic Form$x\in \mathbb{R}^n$ 일 때, $\mathbb{R}^n$에서의 Quadratic Form (이차형식) 은 다음과 같음.$$\mathbf{x}^\top A \mathbf{x}$$where,$A$: Matrix of Quadratic Form. 이차항에서의 coefficient에 해당함.항상 Symmetric Matrix임.$n=1$인 경우, $a x^2$가 이차형식으로 scalar가 됨: $1 \times 1$.Hessian 의 부호: Concave, Convex$f(x)=a x^2$ 와 같은 이차식은 concave, co..

ML 을 위해 Linear Algebra 공부시 참고할만한 책더보기전체적으로 공부를 한다면 다음을 권함.Linear Algebra and Its Application, 5th ed 이상, David C. Lay5th ed. 는 웹에서 쉽게 pdf도 구할 수 있음. 다음은 1~2개 챕터로 간단히 정리하는 경우.머신러닝을 위한 수학: 핵심 알고리즘 3가지로 배우는 최적화, 이병준, 2022, 한빛아카데미(주)1장 행렬 데이터 과학을 위한 기초수학 with 파이썬,  이병준, 2021, 한빛아카데미(주)6장 벡터와 공간, 7장 행렬머신 러닝을 위한 수학 with 파이썬, R, 이원상, 2020, (주)도서출판길벗2장 머신러닝을 위한 선형대수Linear Algebra란?2022.09.01 - [.../Math]..