[LA] Diagonalization, Orthogonal Diagonalization, and Symmetric Matrix

Diagonalizable (대각화)

sqaure matrix가 $n$개의 eigenvalue를 가지고, 이들 각각의 eigenvalue들이 각자의 multiplicity에 해당하는 dimension을 가지는 eigen space를 가지고 있는 경우에 해당.

• 각기 다른 eigenvalue의 eigen space들은 서로 linearly independet함 (orthogonal까지 보장하는 건 아님!). 
• eigenvalue가 자신의 multiplicity(중복도)에 해당하는 dimension의 eigen space를 가진다면, $n\times n$ square matrix는 $n$개의 linearly independent한 eigenvector를 가짐.

이는 다음을 만족하는 invertible한 matrix $\mathbf{P}$와 diagonal matrix $\mathbf{D}$를 얻을 수 있음을 의미.
$$
\mathbf{A} = \mathbf{PDP}^{-1}
$$

 

where

• $\mathbf{D}$는 eigenvalue들을 main diagonal에 놓임.
• $\mathbf{P}$는 $\mathbf{D}$의 eignevalue에 해당하는 위치의 column에 해당하는 eigenvector들이 놓인 invertible matrix임.

충분한 수의 linearly independent한 eigenvector들을 가지는square matrix $\mathbf{A}$는 diagonlizable하며,
이는 diagonal matrix $\mathbf{D}$와 $\mathbf{A}$가 similar임을 의미함.

---

Orthogonal Diagonlizable (직교대각화 가능)

$\mathbf{A}$가 symmetric matrix (복소수로 확장시 hermitian matrix)인 경우로, $\mathbf{P}$가 단순히 invertible을 넘어 orthogonal matrix (Hermitian matrix의 경우 unitary matrix)가 됨.
$\mathbf{A}$가 다음을 만족시 orthogonal diagonalizable이라고 함.
$$\mathbf{A}=\mathbf{PDP}^\top$$

 

where

• $\mathbf{P}$는 diagonlizable에서는 non-singular이기만 하면 되지만, orthogoanl diagonlizable하려면 $\mathbf{P}^{-1}=\mathbf{P}^\top$인 orthogonal matrix가 되어야 함.
  • $\mathbf{P}$는 column으로 orthonormal한 eigenvector들을 가짐.
    (symmetric인 경우에만 해당 하고, 일반적으로 eigen vector들은 linearly independent만 성립)
  • symmetric matrix에서는 eigenvalue들이 항상 실수이고, eigenvector들이 mutually orthogonal임.
• $\mathbf{D}$는 $\mathbf{A}$의 eigenvalue들을 main diagonal로 가짐.
• 즉, $n\times n$ square matrix $\mathbf{A}$는 orthonormal인 eigenvector들을 $n$개 가지고 있음을 의미함.
• 달리 말하면, mutliplicity에 해당하는 dimension의 eigenspace가 있어야 하며, 각각의 eigenspace들 서로 orthogonal하다는 애기임.

일반적으로 특정 square matrix가 diagonlizable인지 여부는 확인을 해봐야 아는 것과 달리,
symmetric matrix $\mathbf{A}^\top=\mathbf{A}$인 경우 (complex matrix의 경우 Hermitian matrix,$\mathbf{A}^H=\mathbf{A}$)에는
항상 orthogonal diagonalization이 가능함.

 

 

Orthogonal Diagonalization은

• Eigen Decomposition ($PDP^{-1}$)의 special case로서,
• square matrix 를 대상으로하는 Eigen Decomposition 중에서
• symmetric matrix 만으로 대상을 좁히고 있음: Eigen Decomposition에선 eigenvalue가 complex number일 수도 있음.

---

The Spectral Theorem for Symmetric Matrices.

2024.07.20 - [.../Linear Algebra] - [LA] Spectral Theorem for Symmetric Matrix

[LA] Spectral Theorem for Symmetric Matrix

 

$n \times n$ symmetric matrix $A$는 다음의 proerties를 가짐.

1. $\mathbf{A}$는 $n$개의 real eigenvalue를 가짐. (multplicity를 고려해서 세어야함. 특성방정식에서 중근인 eigenvalue는 2번 세고, 3중근이면 3번 세는 형태로)
2. 각 eigenvalue들은 자신의 multiplicty에 해당하는 dimension의 eigne space를 가짐.
3. 각각의 eigen space들은 서로 orthogonal임 (mutually orthogonal).
4. $\mathbf{A}$는 항상 $\mathbf{A}=\mathbf{PDP}^{-1}$을 만족하므로 orthogonally diagonalizable임.
   • $\mathbf{D}$는 eigenvalue들을 main diagonal로 가지며, 이들 eigenvalue들을 spectrum of $\mathbf{A}$라고 부름.

symmetric matrix (or Hermitian matrix)의 매우 유용한 property를 말해주며,
Fourier transform을 통한 spectrum analysis에 대한 선형대수적 기반을 애기해주고 있음.

단, orthogonally diagonalizable이어도 eigenvalue 중 0이 있을 수 있고, 이 경우 $\mathbf{A}$는 singular임.

---

Spectrum decomposition (or Spectral Decomposition) 

symmetric matrix $\mathbf{A}$를 sum of rank 1 outer product of eigenvector로 나타낸 것.
$$ \begin{aligned}\mathbf{A}&=\mathbf{PDP}^\top \\ &=\begin{bmatrix}\textbf{u}_1 &\cdots&\textbf{u}_n\end{bmatrix}\begin{bmatrix}\lambda_1 & & 0 \\ & \ddots & \\ 0 & & \lambda_n\end{bmatrix}\begin{bmatrix}\textbf{u}_1^\top \\ \vdots \\ \textbf{u}_n^\top \end{bmatrix}\\ &=\begin{bmatrix} \lambda_1 \textbf{u}_1 & \cdots &\lambda_n \textbf{u}_n \end{bmatrix}\begin{bmatrix} \textbf{u}_1^\top \\ \vdots \\ \textbf{u}_n^\top \end{bmatrix} \\ &=\lambda_1\textbf{u}_1\textbf{u}_1^\top + \lambda_2\textbf{u}_2\textbf{u}_2^\top + \cdots +\lambda_n\textbf{u}_n\textbf{u}_n^\top \end{aligned} $$

• rank 1인 n개의 $n\times n$ matrix들의 합으로 분해한 것으로 각 eignevector에 대해 orthogonal projection의 linear combination으로 $\mathbf{A}$를 표현.
• $\textbf{u}_j\textbf{u}_j^\top$는 projection matrix로 $\textbf{u}_j$가 span하고 있는 subspace(, 여기선 $c\textbf{u}_j$로 표현되는 eigen space임)로의 orthogonal projection을 의미함.

---

참고 URL 및 더 살펴보면 좋은 URL

https://bme808.blogspot.com/2022/11/math-hermitian-symmetry.html

Math : Hermitian Symmetry

https://dsaint31.tistory.com/entry/LA-Normal-Matrix-%EC%A0%95%EA%B7%9C%ED%96%89%EB%A0%AC

[LA] Normal Matrix (정규행렬)

2024.07.20 - [.../Linear Algebra] - [LA] Spectral Theorem for Symmetric Matrix

[LA] Spectral Theorem for Symmetric Matrix

 

---