선형 독립(Linear Independence):대상: vector set정의특정 vector set에 속한 vector 각각이 해당 vector set의 다른 vectors의 liner combination으로 (정확히) 표현될 수 없는 경우,해당 vector set을 linearly independent 라고 함.해당 vector set의 모든 vector들은 각각 자기 외의 다른 vectors로부터 파생될 수 없음.Linearly independent란해당 vector set의 모든 vector들이 서로에 대해 독립적으로 다른 vector들이 가지고 있지 않은 방향에 대한 정보를 가지고 있음을 의미.2024.02.16 - [.../Math] - [LA] Linear Independence [LA] ..

Linear Algebra and Its Applications (5th ed.), David C. Lay, Pearson 2014 Chapter 7.4 Example 1 $A=\begin{bmatrix}4 & 11 &14 \\ 8 & 7&-2\end{bmatrix}$를 standard matrix로 가지는 linear transformatino $\textbf{x}\mapsto A\textbf{x}$에서 $\|A\textbf{x}\|$를 최대화시키는 unit vector $\textbf{x}$를 구하고, 해당 unit vector가 매핑된 vector $A\textbf{x}$의 length를 구하라. 해당 문제는 다음의 constrained optimzaion 문제임. $$\underset{\textb..

Orthogonal MatrixMatrix의 row vector (and column vector)들이자기자신을 제외한 나머지 row vector (and column vector)들과 orthonormal인 square matrix.$$A^{-1}=A^\top \\ A^\top A = I \\ \mathbf{a}_i^\top \mathbf{a}_j = \mathbf{a}_i \cdot \mathbf{a}_j = 0, \quad \text{ where } i\ne j \\ \mathbf{a}_i^\top \mathbf{a}_j = \mathbf{a}_i \cdot \mathbf{a}_j = 0, \quad \text{ where } i = j$$엄격히 애기해서 orthogonal matrix는 $A^{-..

Matrix $A \in M_n (C)$에 대해 (← matrix가 complex number를 가질 수 있으며, $n\times n$ square matrix임), 다음을 만족하면 $A$를 normal matrix (정규행렬)이라고 부름. $$A\bar{A}^T(=AA^*)=\bar{A}^TA(=AA^*)$$ where $A^T$ : transpose of $A$ (전치) $A^*$ : $A$의 각 entity에 complex cojugate 를 취하고 Transpose한 것 $A^H$로 표기되기도 함. $\bar{A}$ : $A$의 각 entity에 complex cojugate 취한 행렬. Normal matrix의 가장 큰 특징 중 하나는 항상 diagonlizable이라는 점임. Symmetri..

Diagonalizable (대각화)sqaure matrix가 $n$개의 eigenvalue를 가지고, 이들 각각의 eigenvalue들이 각자의 multiplicity에 해당하는 dimension을 가지는 eigen space를 가지고 있는 경우에 해당.각기 다른 eigenvalue의 eigen space들은 서로 linearly independet함 (orthogonal까지 보장하는 건 아님!). eigenvalue가 자신의 multiplicity(중복도)에 해당하는 dimension의 eigen space를 가진다면, $n\times n$ square matrix는 $n$개의 linearly independent한 eigenvector를 가짐.이는 다음을 만족하는 invertible한 matrix ..

1. Multi-variable vs Multi-variate (in Regression) Regression에서 많이 사용되는 경우이며, 위의 용어에서 variable은 독립변수에 해당하며, variate는 종속변수에 해당함. variable (변수) : 독립변수에 해당. univariable : independent variable이 scalar. multi-variable : independent variable이 vector. 하지만 Multiple Regression이라고 불림. 즉, 독립변수가 여러 개 (=vector가 독립변수)인 경우, Multiple Regression이라고 불림. variate (변량) : 종속변수에 해당 univariate : dependent variable이 sca..