[LA] Eigenvalue and Eigenvector

특정 행렬 $A$는 linear transform을 의미함: $A\mathbf{x}$는 vector $\mathbf{x}$를 linear transform하는 것에 해당.

 

Square Matrix $A$의 eigenvector와 eigenvalue는 $A$를 standard matrix로 하는 linear transform의 고유한 특성을 나타내는 요소임.

• 주의할 점은 eigenvalue와 eigenvector의 정의로 인해 $A$는 항상 Square Matrix임.
• $A$가 rectangle matrix인 경우엔 Singular Value, PCA 등이 대신 사용됨: $AA^\top, A^\top A$를 응용.

---

Definition:

$$\begin{aligned}A\mathbf{x} &= \lambda \mathbf{x} \\ A\mathbf{x} &= \lambda I \mathbf{x} \\ (A-\lambda I) \mathbf{x} &= \mathbf{0} \\ \det (A- \lambda I) &= 0\end{aligned}$$

• $A$: Square Matrix
• $\lambda$: Eigenvalue
• $\mathbf{x}$: Eigenvactor. (Non-Zero Vector). $\mathbf{x} \in \text{Nul}(A-\lambda I)$
• $(A-\lambda I)$: Singular Matrix (=not invertible)

---

Eigenvector:

• $n \times n$ 행렬 $A$를 linear transform으로 보았을 때,
• 해당 linear transform을 통해 방향이 변화되지 않고 유지되면서
• 크기(norm)만 Scalar Multiplication이 가해지는
• Nonzero Vector $\textbf{x}$ :
  • 특정 eigenvalue에 대응하는 eigenvector는 무한한 갯수로 존재하므로
  • linearly independent 한 것들로 제한하여 카운팅.

Eigenvalue:

• 행렬 $A$가 linear transform으로 작용할 때,
• 특정 eigenvector $\textbf{x}$에 대해 해당 변환이 결과적으로 얼마나 크기를 변환시키는지를 나타내는
• Scalar 값 $\lambda$.
• Eigenvalue는 0이 될 수도 있음.

Eigenspace:

• $(A - \lambda I)\textbf{x} = \textbf{0}$의 모든 solution의 집합: Null Space.
• Linear Transform $A$가 행해질 때,
• 특정 eigenvalue $\lambda$에 대해 고유한 방향성을 유지하는 vector들로 구성된 subspace: $\mathbb{R}^n$의 부분 공간.
• 이는 특정 eigenvalue $\lambda$에 대응하는 eigenvectors의 span임.
• 즉, 해당하는 eigenvectors의 linear combinations을 통해 얻어지는 공간임.

Multiplicity: Characteristic Equation 의 중근에 대한 exponent

$$\det(A-\lambda I)= (\lambda_1 -2)^2(\lambda_2 - 7)^3(\lambda -5)$$

중근인 eigenvalue 2에 대한 multiplicity 는 2이고, 역시 중근인 eigenvalue 7에 대해선 multiplictiy는 3.
이는 엄밀히는 Algebraic Multiplicity임.

• Geometric Multiplicity는 특정 eigenvalue에 대응하는 linearly independent eigenvector의 개수를 의미.
  
  • Algebraic multiplicity는 eigenvalue의 characteristic equation(특성다항식) 항(term)에서의 중복 횟수(=exponent)를 나타냄.
    • 해당 eignevalue에 대한 characteristic equation의 root의 multiplicity임.
    • Characteristic Equation: $\det ( A - \lambda I)=0$
  • eigenvalue의 특성방정식에서의 중복 횟수를 나타냄. 다항식의 root의 중복도로 정의됨.
  • Geometric multiplicity는
    • 그 eigenvalue에 대해 얻을 수 있는
    • linearly independent한 eigenvectors의 최대 개수로,
    • 해당 eigenvalue의 eigenspace의 차원으로 정의됨.
  • Geometric multiplicity 는 항상 Algebraic multiplicity 보다 작거나 같음:
    • Diagonalizable Matrix,
    • Normal matrix (Hermitian matrix, Unitary matrix),
    • Symmetric Matrix 에서 같아짐
    • (또는 distinct eigenvalue로 얻어지는 경우)
• 특정 eigenvalue에 대응하는 여러 개의 linearly independent eigenvector가 존재할 수 있음
  • 이들 모두와 zero vector가 이루는 vector subspace가 eigenspace임. 
  • Eigenspace의 차원이 바로 geometrical multiplicity임.
  • Eigenspace의 가능한 최대차원이 바로 (algebraic) multiplicity임.

---

Summary

Linear transform으로서의 행렬 $A$는 특정 방향으로 변하지 않는 벡터, 즉 Eigenvector를 가짐.

이는 해당 선형 변환의 고유한 방향성을 나타냄.

 

실제로 구할 때는

1. Characteristic Equation $\det (A-\lambda I) =0$으로 Eigenvalue를 구하고,
2. 이를 $A -\lambda \mathbf{x} =\mathbf{0}$의 non-trivial solution $\mathbf{x}$를 구해서 Eigenvalue별 Eigenvector를 구함. 

---

기억하면 좋은 내용들

• 특정 Matrix의 Eigenvalue로 이루어진 set을 Spectrum 이라고 부름.
• Distinct Eigenvalue들 각각에 해당하는 Eigenvector들은 Linearly Independent임 (Orthogonal 까지 보장하진 않음).
• $A^\top$의 Eigenvalues는 $A$와 같음.
• $A$의 Eigenvalue가 $\lambda$일 때, $k=1,2, \dots,$ 이면 $A^k$의 Eigenvalue는 $\lambda^k$이며 대응하는 Eigenvector는 $A$의 경우와 동일함.
• $A$가 non-singular(=invertible, Eigenvalue에 0이 없음)인 경우, $A^{-1}$의 Eigenvalue는 $\lambda^{-1}$이고 대응하는 Eigenvecot는 $A$의 경우와 동일함.
• Square Matrix $A$와 $B$가 Similar 관계이면, $B=P^{-1}AP$가 성립하는 Invertible Matrix $P$가 존재하며, $A$와 $B$는 같은 Eigenvalues를 공유함: Diagonlizable로 발전!

---

같이보면 좋은 자료들

2022.11.17 - [.../Math] - [LA] Normal Matrix (정규행렬)

[LA] Normal Matrix (정규행렬)

2024.09.23 - [.../Signals and Systems] - [SS] Eigenmode, Eigenvector, and System mode

[SS] Eigenmode, Eigenvector, and System mode

2025.01.28 - [.../Linear Algebra] - [LA] 예제: Eigenvalue, Eigenvector 구하기 (기초)

[LA] 예제: Eigenvalue, Eigenvector 구하기 (기초)

2024.02.15 - [.../Math] - [LA] Singular Value Decomposition (특이값분해, SVD)

[LA] Singular Value Decomposition (특이값분해, SVD)

2022.11.17 - [.../Linear Algebra] - [LA] Diagonalization (Eigen-Decomposition), Orthogonal Diagonalization, and Symmetric Matrix

[LA] Diagonalization (Eigen-Decomposition), Orthogonal Diagonalization, and Symmetric Matrix

 

---

2025.01.21 - [.../Linear Algebra] - [Summary] Linear Algebra (작성중)

[Summary] Linear Algebra (작성중)

---