특정 행렬 $A$는 linear transform을 의미함: $A\mathbf{x}$는 vector $\mathbf{x}$를 linear transform하는 것에 해당.$A$의 eigenvector와 eigenvalue는 $A$를 standard matrix로 하는 linear transform의 고유한 특성을 나타내는 요소임.Definition:Eigenvector:$n \times n$ 행렬 $A$를 linear transform으로 보았을 때,해당 linear transform을 통해 방향이 변화되지 않고 유지되면서크기(norm)만 Scalar Multiplication이 가해지는nonzero vector $\textbf{x}$.Eigenvalue:행렬 $A$가 linear transform으로 ..

symmetric matrix(대칭 행렬)에 대한 spectral theorem은Symmetric matrix에서 유용한 성질을 정리하고 있음.symmetric matrix를eigen vector $\mathbf{e}_i$각각의 outer product의 결과물인 rank-1 matrix ($=\mathbf{e}_1\mathbf{e}_1^\top$)들을eigen vector를 구할 때, $\|\mathbf{e}_i\|=1$로 normalization이 되도록 $\mathbf{e}_i, \lambda_i$구함.대응하는 eigen value $\lambda_i$로 weighted sum으로분해하여 바라볼 수 있도록 해줌 (Spectral Decomposition)Spectral decomposition은Sy..

Skew-Symmetric Matrix란 무엇인가?skew-symmetric matrix란,행렬의 전치(transpose)가그 행렬의 음수가 되는 행렬을 의미함.수학적으로, $\mathbf{A}$가 Skew-Symmetric Matrix이라면, 다음 조건을 만족함:$$\mathbf{A}^\top = -\mathbf{A}$$즉, 행렬의 각 성분 $a_{ij}$에 대해 $a_{ij} = -a_{ji}$가 성립함.예시2x2 행렬을 예로 들면, 다음과 같은 형태가 됨:$$\mathbf{A} = \begin{bmatrix} 0 & -b \\ b & 0 \end{bmatrix}$$여기서, $b$ 는 실수임. 이 행렬은 다음 조건을 만족함:$$\mathbf{A}^\top = \begin{bmatrix} 0 & b \..

Null Space는 주로 matrix 에 관련된 맥락에서 사용되며,Linear Transformer의 맥락에서는 Kernel이라고 불림.Definition : Null SpaceThe null space of an $m \times n$ matrix $A$, written as Nul $A$, is the set of all solutions of the homogeneous equation $A\textbf{x}=\textbf{0}$.In set notation,$$\text{Nul }A = \left\{ \textbf{x}:\textbf{x} \text{ is in }\mathbb{R}^n \text{ and }A\textbf{x}=\textbf{0} \right\}$$Theorem 2The nul..

Definition: Rank ← matrix 속성The rank of a matrix $A$, denoted by rank $A$,is the dimension of the column space of $A$.Matrix를 이루는 column vectors에서 linearly independent 인 것들의 수를 의미 row space의 dimension 의 경우를 강조하여 row rank라고 부르고,column space의 경우를 강조하여 column rank라고도 부르는 경우가 있으나,동일한 matrix에 대해 이 둘은 같기 때문에 그냥 rank라고 지칭하는게 일반적임. $m \times n$ matrix $A$에서 다음이 성립. $$ \text{Column Rank}(A) \le n \\ \tex..

Matrix Multiplication for Cross Product특정 vector와의 cross product를 matric multiplication의 형태로 표현하기도 한다. 벡터 $\mathbf{a}$와 $\mathbf{b}$의 Cross Product(교차곱 or 벡터곱) $\mathbf{a} \times \mathbf{x}$는 다음과 같이 나타낼 수 있음:$$\mathbf{a} \times \mathbf{x} = [\mathbf{a}]_\times \mathbf{x} $$좀더 풀어서 기재하면 다음과 같음. $$\mathbf{a} \times \mathbf{x} = \begin{bmatrix} a_{2} x_{3} - a_{3} x_{2} \\ a_{3} x_{1} - a_{1} x_{3} ..