.../Linear Algebra

ML 을 위해 Linear Algebra 공부시 참고할만한 책더보기전체적으로 공부를 한다면 다음을 권함.Linear Algebra and Its Application, 5th ed 이상, David C. Lay5th ed. 는 웹에서 쉽게 pdf도 구할 수 있음.개인적으로 Strang 교수님 교재보다 쉽게 읽혀짐.Practical Linear Algebra for Data Science,:From Core Concepts to Applications Using Python, Mike X Cohen. O'Reilly다음은 1~2개 챕터로 간단히 정리하는 경우.머신러닝을 위한 수학: 핵심 알고리즘 3가지로 배우는 최적화, 이병준, 2022, 한빛아카데미(주)1장 행렬 데이터 과학을 위한 기초수학 with 파..

특정 행렬 $A$는 linear transform을 의미함: $A\mathbf{x}$는 vector $\mathbf{x}$를 linear transform하는 것에 해당. Square Matrix $A$의 eigenvector와 eigenvalue는 $A$를 standard matrix로 하는 linear transform의 고유한 특성을 나타내는 요소임.주의할 점은 eigenvalue와 eigenvector의 정의로 인해 $A$는 항상 Square Matrix임.$A$가 rectangle matrix인 경우엔 Singular Value, PCA 등이 대신 사용됨: $AA^\top, A^\top A$를 응용.Definition:$$\begin{aligned}A\mathbf{x} &= \lambda \ma..

Symmetric Matrix(대칭 행렬)에 대한 Spectral Theorem은Symmetric Matrix에서 유용한 성질을 정리하고 있음.Spectral TheoremSymmetric Matrix를Eigen Vector $\mathbf{e}_i$ 각각의 Outer Product의 결과물인 Rank-1 Matrix ($=\mathbf{e}_1\mathbf{e}_1^\top$)들과Eigen Vector를 구할 때, $\|\mathbf{e}_i\|=1$로 normalization이 되도록 $\mathbf{e}_i, \lambda_i$구함.대응하는 Eigen Value $\lambda_i$ 들의 Weighted Sum으로분해하여 바라볼 수 있도록 해줌 (Spectral Decomposition)Spectr..

Skew-Symmetric Matrix란 무엇인가?skew-symmetric matrix란,행렬의 전치(transpose)가그 행렬의 음수가 되는 행렬을 의미함.수학적으로, $\mathbf{A}$가 Skew-Symmetric Matrix이라면, 다음 조건을 만족함: $$\mathbf{A}^\top = -\mathbf{A}$$ 즉, 행렬의 각 성분 $a_{ij}$에 대해 $a_{ij} = -a_{ji}$가 성립함.예시2x2 행렬을 예로 들면, 다음과 같은 형태가 됨: $$\mathbf{A} = \begin{bmatrix} 0 & -b \\ b & 0 \end{bmatrix}$$ 여기서, $b$ 는 실수임. 이 행렬은 다음 조건을 만족함:$$\mathbf{A}^\top = \begin{bmatrix} 0 & b \..

Null Space는 주로 matrix 에 관련된 맥락에서 사용되며,Linear Transform 의 맥락에서는 Kernel 이라고 불림.Definition : Null SpaceThe null space of an $m \times n$ matrix $A$, written as Nul$(A)$, is the set of all solutions of the homogeneous equation $A\textbf{x}=\textbf{0}$.In set notation, $$\text{Nul }(A) = \left\{ \textbf{x}:\textbf{x} \text{ is in }\mathbb{R}^n \text{ and }A\textbf{x}=\textbf{0} \right\}$$ Null Space 의 ..

Definition: Rank ◁ matrix 속성The rank of a matrix $A$, denoted by rank $A$,is the dimension of the column space of $A$.Matrix를 이루는 Column Vectors에서 Linearly Independent 인 것들의 수를 의미Row Space의 Dimension 의 경우를 강조하여 Row Rank라고 부르고,Column Space의 경우를 강조하여 Column Rank라고도 부르는 경우가 있으나,동일한 Matrix에 대해 이 둘은 같기 때문에 그냥 Rank라고 지칭하는게 일반적임. $m \times n$ Matrix $A$에서 다음이 성립. $$ \text{Column Rank}(A) \le n \\ \text..