$A\mathbf{x} = \mathbf{b}$와 4개의 Fundamental Subspaces$A\mathbf{x} = \mathbf{b}$ 는 Linear System을 나타내는 Matrix Equation이면서, $\mathbb{R}^n$에서 $\mathbb{R}^m$으로의 Linear Transform을 나타냄.여기에서 4개의 중요한 Subspace 가 존재하며, 이를 이해하면 consistent에 대한 보다 깊은 이해 및 선형변환에서의 domain과 image등을 vector space로 파악할 수 있게 됨.0. Prerequisites더보기2024.10.28 - [.../Math] - [Math] Basis [Math] Basis기저(Basis)는 vector space (또는 function..

LU factorization 을 조금 변형한 형태. (U가 REF인 LU factorization과 달리, LDU의 경우 RREF임)2024.02.17 - [.../Linear Algebra] - [LA] Gauss-Jordan Elimination (including Gauss Elimination) and LU Factorization [LA] Gauss-Jordan Elimination (including Gauss Elimination) and LU FactorizationSystem of Linear Equations (연립방정식)의 Solution를 구하는 가장 표준적인 방법.Gauss Elimination을 좀 더 보강한 방법(컴퓨터 없이 연립일차방정식 계산할 경우 가장 일반적으로 사용됨)..

Tensor 종류1. Scalar (0차원 tensor)하나의 숫자로 표현되는 가장 기본적인 형태.크기(magnitude)만을 가지며 방향은 없음.예시: 온도(25°C), 나이(20), 가격(1000원)# 파이썬/NumPy에서의 표현scalar = 5.02. Vector (1차원 tensor)숫자들의 순서가 있는 array(배열): Numbers' ordered list.Magnitude(크기)와 Direction(방향)을 모두 가짐.선형대수에서는 공간 상의 한 점 또는 방향을 나타내는 화살표로 해석: Vector Space의 element!기계학습 및 딥러닝에서는 데이터 instance(=single sample)의 특성(feature)들을 담는 container로 사용되어 하나의 instance를 표..

해당하는 Elementary Matrix 만드는 방법Elementary Row Operations는 기본적으로단위 행렬(identity matrix)에원하는 Row Operation에 해당하는 특정 변환을 적용하여 생성함.각 연산의 Elementary Row Operation Matrix를 다음의 예제로 살펴볼 것.1. 행 교환 (Row Swapping or Interchanging)두 행의 위치를 서로 교환하는 경우, 단위 행렬에서 두 행을 바꿔치기함.예시:$E_{swap}$: 행렬의 1행과 2행을 교환하는 행렬.$$E_\text{swap} =\begin{bmatrix}0 & 1 & 0 \\1 & 0 & 0 \\0 & 0 & 1\end{bmatrix}.$$$E_\text{swap}$을 원래 행렬 $A$..

LU Factorization와 Gauss EliminationLU Factorization은행렬 $A$ 를 다음과 같이 두 행렬 $L$ (Lower Triangular Matrix)와 $U$ (Upper Triangular Matrix)로 분해하는 기법임:$$PA = LU$$여기서 $P$ 는 Permutation Matrix로, 피벗팅(pivoting)을 통해 행 교환 정보를 기록함.Permutation이 없는 경우는 다음과 같음:$$A = LU$$ 사실 Square Full Rank Matrix가 아닌 경우에도 LU Factorization은 적용가능하고, 이 경우, $U$는 REF (Row Echelon Form)가 된다. LU Factorization은 LU Decomposition이라고도 불림...

Gram-Schmidt Process는 임의의 Subspace $W$에서 Orthogonal Basis (or Orthogonomal Basis)를 찾는 과정임. 0. Prerequisite우선 다음을 기억하자Basis에 속하는 Vector들로 Span 하면, Subspace $W$ 내의 모든 Vector를 표현가능!Basis 에 속하는 모든 Vector들이 서로 서로 Linear Indepedent임만약 한 걸음 더 나아가 Basis의 모든 Vector들이 서로 Orthogonal인 경우, 해당 Basis는 Orthogonal Basis 이 됨.한 걸음 더 나아가 Basis의 모든 Vector 들의 L2-Norm이 1이 되면(unit vector), 해당 Basis는 Orthonormal Basis임...