.../Linear Algebra

[LA] Spectral Theorem for Symmetric Matrix

symmetric matrix(대칭 행렬)에 대한 spectral theorem은Symmetric matrix에서 유용한 성질을 정리하고 있음.symmetric matrix를eigen vector $\mathbf{e}_i$각각의 outer product의 결과물인 rank-1 matrix ($=\mathbf{e}_1\mathbf{e}_1^\top$)들을eigen vector를 구할 때, $\|\mathbf{e}_i\|=1$로 normalization이 되도록 $\mathbf{e}_i, \lambda_i$구함.대응하는 eigen value $\lambda_i$로 weighted sum으로분해하여 바라볼 수 있도록 해줌 (Spectral Decomposition)Spectral decomposition은Sy..

[LA] Skew-Symmetric Matrix 란

Skew-Symmetric Matrix란 무엇인가?skew-symmetric matrix란,행렬의 전치(transpose)가그 행렬의 음수가 되는 행렬을 의미함.수학적으로, $\mathbf{A}$가 Skew-Symmetric Matrix이라면, 다음 조건을 만족함:$$\mathbf{A}^\top = -\mathbf{A}$$즉, 행렬의 각 성분 $a_{ij}$에 대해 $a_{ij} = -a_{ji}$가 성립함.예시2x2 행렬을 예로 들면, 다음과 같은 형태가 됨:$$\mathbf{A} = \begin{bmatrix} 0 & -b \\ b & 0 \end{bmatrix}$$여기서, $b$ 는 실수임. 이 행렬은 다음 조건을 만족함:$$\mathbf{A}^\top = \begin{bmatrix} 0 & b \..

[LA] Null Space

Null Space는 주로 matrix 에 관련된 맥락에서 사용되며,Linear Transformer의 맥락에서는 Kernel이라고 불림.Definition : Null SpaceThe null space of an $m \times n$ matrix $A$, written as Nul $A$, is the set of all solutions of the homogeneous equation $A\textbf{x}=\textbf{0}$.In set notation,$$\text{Nul }A = \left\{ \textbf{x}:\textbf{x} \text{ is in }\mathbb{R}^n \text{ and }A\textbf{x}=\textbf{0} \right\}$$Theorem 2The nul..

[LA] Rank: matrix의 속성

Definition: Rank ← matrix 속성The rank of a matrix $A$, denoted by rank $A$,is the dimension of the column space of $A$.Matrix를 이루는 column vectors에서 linearly independent 인 것들의 수를 의미 row space의 dimension 의 경우를 강조하여 row rank라고 부르고,column space의 경우를 강조하여 column rank라고도 부르는 경우가 있으나,동일한 matrix에 대해 이 둘은 같기 때문에 그냥 rank라고 지칭하는게 일반적임. $m \times n$ matrix $A$에서 다음이 성립. $$ \text{Column Rank}(A) \le n \\ \tex..

[LA] Matrix Multiplication for Cross Product

Matrix Multiplication for Cross Product특정 vector와의 cross product를 matric multiplication의 형태로 표현하기도 한다. 벡터 $\mathbf{a}$와 $\mathbf{b}$의 Cross Product(교차곱 or 벡터곱) $\mathbf{a} \times \mathbf{x}$는 다음과 같이 나타낼 수 있음:$$\mathbf{a} \times \mathbf{x} = [\mathbf{a}]_\times \mathbf{x} $$좀더 풀어서 기재하면 다음과 같음. $$\mathbf{a} \times \mathbf{x} = \begin{bmatrix} a_{2} x_{3} - a_{3} x_{2} \\ a_{3} x_{1} - a_{1} x_{3} ..

[Math] EVD 및 SVD로 $\textbf{x}^TA^TA\textbf{x}$의 최소값 및 해 구하기: Total Least Squares

Vector $\mathbf{x}$ 와 Matrix $A$가 주어졌을 때,$\mathbf{x}^T A^T A \mathbf{x}$의 minimum (or lower bound)를 구하는 방법에 대해Singular Value Decomposition(SVD)와 Eigenvalue Decomposition(EVD)을 이용하는 방법. $\underset{\mathbf{x}}{\text{argmin }}\mathbf{x}^TA^TA\mathbf{x}$는Total Least Squares 등에서 많이 애용되는 형태의 최소화 문제임.SVD를 이용한 lower bound 계산 방법SVD는 matrix을 세 개의 행렬로 분해하는 방법임.행렬 $A$의 SVD는 다음과 같이 표현됨:$$A = U \Sigma V^T$$여기..

[LA] Span (생성)

Span주어진 Vector들 (=Vector set)에 대한 Span은해당 vector들의 Linear Combination을모두 포함하고 있는 Vector Set을 의미한다.참고로, 위의 정의에서 Linear Combination을 Affine Combination으로 바꾸면, Affine Hull(or Affine Span)의 정의가 됨. https://youtu.be/2CcCOgDilO8?si=1SrMJa2O_SoniQ7b&t=211  참고자료2024.02.16 - [.../Linear Algebra] - [LA] linear combination [LA] linear combinationlinear equation 에서 variables가 scalars가 아닌 vectors로 바꾸어진 형태와 비슷..

[LA] Matrix-Vector Multiplication

Matrix-Vector MultiplicationLinear TransformMatrix와 vector의 곱은 일종의 Linear Transformation으로 볼 수 있음.곱해지는 Vector를 Matrix가 나타내는 Linear Transformation 처리하는 것으로 볼 수 있음.Matrix $A$ 와 vector $\mathbf{x}$ 의 곱 $\mathbf{y} = A\mathbf{x}$ 를 linear transform으로 직관적인 해석이 가능함.이는 matrix $A$를 vector 공간에서 다른 vector 공간으로의 변환으로 해석하는 것임.Matrix $A$:$A$는 $m \times n$ matrix로,$n$-차원 공간에서 $m$-차원 공간으로의 linear transform에 해당..

[LA] Linear Transformation

Transformation $\mathbb{R}^n$ (domain) 에서 $\mathbb{R}^m$ (codomain) 으로의 transformation (= function or mapping) $T$는 domain에 속하는 각각의 vector $\textbf{x}$를 codomain의 vector $T(\textbf{x})$에 대응시키는 규칙임. 이를 다음과 같이 표기함 $$T: \mathbb{R}^n \to \mathbb{R}^m$$ Transformation은 Function, System, Mapping, Model 등의 용어로 대체되거나 각각의 정의에 사용되는 경우가 많음. https://dsaint31.tistory.com/215 Function (함수) : 간략 정의 Function은 흔..

[LA] Determinant (행렬식)

Matrix는 일종의 Linear transform을 의미함. Linear transform을 의미하는 matrix 들 중에서, Square Matrix에서 구해지는 Determinant는 해당하는 Linear transform의 특성을 나타내는 scalar 임. square matrix가 의미하는 linear transform은 차원이 증가할 수 없음을 기억할 것. Determinant의 의미 Determinant가 의미하는 것은 크게 다음의 3가지임. Scale (or Volumne) Change. Determinant의 magnitude는 univectore들에 의한 n-dimentional unit volume이 Linear transform에 의해 얼마나 확대 또는 축소되는지를 나타냄. 0이 될..