.../Linear Algebra

해당하는 Elementary Matrix 만드는 방법Elementary Row Operations는 기본적으로단위 행렬(identity matrix)에원하는 Row Operation에 해당하는 특정 변환을 적용하여 생성함.각 연산의 Elementary Row Operation Matrix를 다음의 예제로 살펴볼 것.1. 행 교환 (Row Swapping or Interchanging)두 행의 위치를 서로 교환하는 경우, 단위 행렬에서 두 행을 바꿔치기함.예시:$E_{swap}$: 행렬의 1행과 2행을 교환하는 행렬. $$E_\text{swap} =\begin{bmatrix}0 & 1 & 0 \\1 & 0 & 0 \\0 & 0 & 1\end{bmatrix}.$$ $E_\text{swap}$을 원래 행렬 $A$..

LU Factorization와 Gauss EliminationLU Factorization은행렬 $A$ 를 다음과 같이 두 행렬 $L$ (Lower Triangular Matrix)와 $U$ (Upper Triangular Matrix)로 분해하는 기법임: $$PA = LU$$ 여기서 $P$ 는 Permutation Matrix로, 피벗팅(pivoting)을 통해 행 교환 정보를 기록함.Permutation이 없는 경우는 다음과 같음: $$A = LU$$  사실 Square Full Rank Matrix가 아닌 경우에도 LU Factorization은 적용가능하고, 이 경우, $U$는 REF (Row Echelon Form)가 된다. LU Factorization은 LU Decomposition이라고도 불림...

Gram-Schmidt Process는 임의의 Subspace $W$에서 Orthogonal Basis (or Orthogonomal Basis)를 찾는 과정임. 0. Prerequisite우선 다음을 기억하자Basis에 속하는 Vector들로 Span 하면, Subspace $W$ 내의 모든 Vector를 표현가능!Basis 에 속하는 모든 Vector들이 서로 서로 Linear Indepedent임만약 한 걸음 더 나아가 Basis의 모든 Vector들이 서로 Orthogonal인 경우, 해당 Basis는 Orthogonal Basis 이 됨.한 걸음 더 나아가 Basis의 모든 Vector 들의 L2-Norm이 1이 되면(unit vector), 해당 Basis는 Orthonormal Basis임...

1. Inverse Matrix and Linear SystemLinear Algebra 의 가장 기본적인 응용은 Linear System (선형연립방정식)을 푸는 용도임.다음은 Linear System의 Matrix Equation임. $$A\mathbf{x}=\mathbf{b}$$  Inverse는 이 Linear System의 Solution $\mathbf{x}$를 어찌보면 가장 기본적으로 푸는 방법이라고 볼 수 있음: $$\begin{aligned} A\mathbf{x} &= \mathbf{b} \\ A^{-1}A\mathbf{x} &= A^{-1}\mathbf{b} \\ I \mathbf{x} &= A^{-1}\mathbf{b} \\ \mathbf{x} &= A^{-1}\mathbf{b} \end..

Square Full-Rank Matrix의 Inverse를 Cramer's rule에 기반하여 구하는 방식은 실제 inverse를 구하는 용도로는 많이 사용되지는 않는다.재귀적 방식인지라, 대상이 되는 Square Matrix의 크기가 커질 경우 매우 비효율적이기 때문임.단, $3\times 3$ 이하의 작은 크기이거나, Complex Number 로 인해 Row Reduction 등이 효과적이지 못한 경우에는 inverse를 구하는데 사용되기도 함.주요 용도는 Theoretical Tool로서 inverse를 다 구하지 않고도, $A\mathbf{x}=\mathbf{b}$에서 $\mathbf{b}$의 작은 변화가$\mathbf{x}$에 얼마나 영향을 주는지 등을 살피는 것임. 주요행렬이 방식에서 중간..

Quadratic Form : Scalar 에서 이차식 (Quadratic Expression) $a x^2$의 일반형. Definition of Quadratic Form$x\in \mathbb{R}^n$ 일 때, $\mathbb{R}^n$에서의 Quadratic Form (이차형식) 은 다음과 같음. $$\mathbf{x}^\top A \mathbf{x}$$ where,$A$: Matrix of Quadratic Form. 이차항에서의 coefficient에 해당함.항상 Symmetric Matrix임.$n=1$인 경우, $a x^2$가 이차형식으로 scalar가 됨: $1 \times 1$.Hessian 의 부호: Concave, Convex$f(x)=a x^2$ 와 같은 이차식은 concave, co..