[LA] Spectral Theorem for Symmetric Matrix

Symmetric Matrix(대칭 행렬)에 대한
Spectral Theorem은
Symmetric Matrix에서 유용한 성질을 정리하고 있음.

Spectral Theorem

Symmetric Matrix를

• Eigen Vector $\mathbf{e}_i$ 각각의 Outer Product의 결과물인
  Rank-1 Matrix ($=\mathbf{e}_1\mathbf{e}_1^\top$)들과
  • Eigen Vector를 구할 때, $\|\mathbf{e}_i\|=1$로 normalization이 되도록 $\mathbf{e}_i, \lambda_i$구함.
• 대응하는 Eigen Value $\lambda_i$ 들의 Weighted Sum으로
• 분해하여 바라볼 수 있도록 해줌 (Spectral Decomposition)

Spectral decomposition은
Symmetric matrix (or Hermitian matrix)에서 성립하는
Eigenvalue decomposition의 특수한 경우임.

$$ \mathbf{D}=\mathbf{Q}^\top \mathbf{A} \mathbf{Q} \\ \left(\mathbf{Q}^\top\right)^{-1}\mathbf{D}\mathbf{Q}^{-1}=\mathbf{A}\\ \mathbf{Q}\text{ is orthogonal matrix: } \mathbf{Q}^{-1}=\mathbf{Q}^\top \\ \mathbf{Q} \mathbf{D} \mathbf{Q}^\top=\mathbf{A}$$

이를 LHS와 RHS를 바꾸면 다음과 같고, 이를 Eigenvalues와 이에 대응하는 Eigenvectors의 Weighted Sum of Rank-1 Matrices로 나타낼 수 있음.

$$\mathbf{A}= \mathbf{Q}\mathbf{D}\mathbf{Q}^\top = \sum^n_{i=1} \lambda_i \mathbf{e}_i \mathbf{e}_i^\top, \quad \text{where } |\lambda_1| \le \dots \le |\lambda_n|$$

• 위의 Summation의 식이 바로 Spectral Decomposition of $\mathbf{A}$이라고 불리며,
• Weights 에 속하는 Eigenvalues의 Set을 Spectrum of $\mathbf{A}$라고 부름: Spectrum의 정의 ***
• 각 Rank-1 Outer Product는 일종의 "Orthogonal Projection 연산"에 해당 *** :
  • $\mathbf{A}\mathbf{x}= \sum^n_{i=1} \lambda_i \color{red}{\mathbf{e}_i\mathbf{e}_i^\top \mathbf{x}}$에서
  • $\color{red}{\mathbf{e}_i\mathbf{e}_i^\top \mathbf{x}}$는
  • $\mathbf{e}_i$로 spaned 된 subspace에 $\mathbf{x}$를 Orthogonal Projection하는 것임.

Eigenvalue의 절대값이 큰 순으로 놓는 이유는 $\mathbf{A}$에 강한 영향을 주는 순서로 배치하고 낮은 영향력의 성분을 제거하는 Approximation 등에 사용가능하기 때문임.

(Spectral Decomposition에선 항상은 아니나, SVD에선 거의 일반적인 경우임).

참고로, The Sum of Rank-1 Outer Products 는 The Column-Row Expansion of a Product 라고도 불림.

 

다음은 3 by 3 symmetric matrix에서의 the column-row expansion of a product 의 한가지 예임.

https://gist.github.com/dsaint31x/940d6f88590b7e9882eb7b906ea2c0a1

LA_SpectralTheorem4SymmetricMatrix.ipynb

---

주의할 특성

Spectral Theorem에서 중요한 각 특성에 대한 설명은 다음과 같음:

1. Real Eigenvalues (실수 고유값):
   • $n \times n$ symmetric matrix $\mathbf{A} (=\mathbf{A}^\top)$의 모든 eigenvalue $\lambda_i$는 real number임.
   • 이는 $\mathbf{A}$의 characteristic equation (or characteristic polynomial, 특성 다항식으로 degree가 $n$)이multiplicities(중복도)를 고려하여 셀 경우(중근을 2개로, 삼중근은 3개로 세는 것을 의미), $n$개의 real root를 가짐을 의미.
     • Symmetric matrix에서 eigenvalue는 항상 실수이지만,
     • 각각이 distinct는 아님 (not all distinct).
   • Symmetric Matrix의 eigenvalue는 0이 될 수도 있음 (참고로 eigenvector는 절대 zero vector가 아님.
2. Dimension of Eigenspace (고유공간의 차원):
   • $\mathbf{A}$의 각 eigenvalue $\lambda_i$ 에 대해, $\lambda_i$에 대응하는 eigenspace($\lambda_i$)의 차원은 $\lambda_i$의 algebraic multiplicity(대수적 중복도)와 같음.
     • eigenvalue가 0인 경우, matrix $\mathbf{A}$의 "nullspace의 차원 (nullity)"이 1이상으로 해당하는 0 eigenvalue에 대응하는 eigenvector가 존재함.
     • eigenspace의 차원을 모두 더한다는 것은 이들도 고려해야함.
   • 모든 $\lambda_i$에 대한 eigenspace의 차원들을 모두 더하면 전체 matrix의 열(또는 행)의 수와 같음.
     • 이는 항상 $n$개의 mutually orthogonal이 성립하는 $n$개의 eigenvector를 구할 수 있음의 의미함.
     • Symmetric Matrix는 항상 (orthgonally) diagonalization이 가능함을 의미함 (이 둘은 항등임: 즉 orthogonal diagoalizable인 경우 symmetric matrix이며 이 역도 성립).
3. Orthogonal Eigenspace (직교하는 고유공간):
   • $\mathbf{A}$의 서로 다른 eigenvalue에 대응하는 eigenspace는 mutually orthogonal임.
   • 즉, 만약 $\mathbf{v}_1$와 $\mathbf{v}_2$가 서로 다른 eigenvalue $\lambda_1$ 과 $\lambda_2$ 에 대응하는 eigenvector라면 $( \lambda_1 \neq \lambda_2 )$,
   • $\mathbf{v}_1$와 $\mathbf{v}_2$는 mutually orthogonal이며,
   • 이는 $\mathbf{v}_1 \cdot \mathbf{v}_2 = 0$임을 의미.
4. Orthogonal Diagonalizability (직교 대각화 가능성):
   • 대칭 행렬 $\mathbf{A}(=\mathbf{A}^\top)$는 orthogonal matrix를 통해 diagonalization이 가능함
   • 즉, $\mathbf{Q}$라는 orthogonal matrix(모든 column vectors가 orthonormal vector임.)이 존재하여 이를 이용한 $\mathbf{A}$의 대각화 $\mathbf{D}=\mathbf{Q}^\top \mathbf{AQ}$의 결과 $\mathbf{D}$는 diagonal matrix가 성립함.
   • $\mathbf{Q}$의 column vectors는 모두 $\mathbf{A}$의 normalized eigenvectors이며,
   • Diagonal matrix $\mathbf{D}$의 main diagonal의 entry들은 모두 $\mathbf{A}$의 eigenvalue 이며 그 순서는 $\mathbf{Q}$의 eigenvector이 columnvector로 놓인 순서임 (보통 eigenvalue의 크기 순으로 배치됨).

---

활용 및 응용사례

Spectral Theorem은

• Symmetric Matrix (실수가 element)의 Eigenvalue와 Eigenvector를 통해
• Rank-1 Outer Products의 Weighted Sum으로 분해할 수 있음을 보장함.

이 정리는 Eigenvalue Decomposition, Singular Decomposition 등과 함께,
복잡한 신호나 대상을 간단한(rank-1) 구성의 linear combination으로 분해하여 분석할 수 있게 해줌:
Pricipal Component Analysis (PCA)와 Fourier Analysis 등이 대표적인 응용사례임.

---

같이보면 좋은 자료들

2022.11.17 - [.../Linear Algebra] - [LA] Diagonalization (Eigen-Decomposition), Orthogonal Diagonalization, and Symmetric Matrix

[LA] Diagonalization (Eigen-Decomposition), Orthogonal Diagonalization, and Symmetric Matrix

2024.05.29 - [.../Linear Algebra] - [LA] Matrix-Vector Multiplication

[LA] Matrix-Vector Multiplication

2022.11.25 - [.../Math] - [LA] Hermitian Matrix and Unitary Matrix

[LA] Hermitian Matrix and Unitary Matrix

---