[LA] Singular Value (특이값)

Singular Value Decomposition

Rank가 $n$인 matrix $A\in \mathbb{R}^{m\times n}\text{ where }m\ge n$ 에서

• orthonormal vector set$\{\textbf{v}_1, \dots, \textbf{v}_n\}, \{\textbf{u}_1, \dots \textbf{u}_n\}$ 와
• positive scalr set $\{\sigma_1, \dots, \sigma_n\}$에 대하여

$$A\textbf{v}_i=\sigma_i\textbf{u}_i \text{ where } i=1,2,\dots,n$$

를 만족한다고 가정하자.

 

이때, positive scalar 인 $\sigma_1, \dots,\sigma_n$들을 matrix $A$의

• singular value (특이값)이라고 한다.

동시에, 해당 singular value들에 각각 대응하는 orthonomal vector $\textbf{v}_i$와 $\textbf{u}_i$를 각각

• right singular vector,
• left singular vector 라고 함.

즉, 다음이 성립함:

• $\{\textbf{v}_1,\dots,\textbf{v}_n\}$는 행렬 $A^\top A$의 eigen vector(고유 벡터)로 이루어진 orthonormal set임.
• $\{\textbf{u}_1,\dots,\textbf{u}_m\}$는 행렬 $A A^\top$의 eigen vector로 이루어진 orthonormal set이다.
• $\{ \sigma_1, \dots, \sigma_n \}$은 행렬 $A$의 singular value (특이값)이며, $\sigma_i = \sqrt{\lambda_i}$ 임.($\lambda_i$는 $A^\top A$의 eigen value).

이를 기반으로 $A$는 다음과 같이 분해됨.

$$A=U\Sigma V^\top$$

 

---

SVD의 경우, positive singular values는 내림차순으로 나열되는 게 일반적이며 이는 다음이 성립함을 의미함.

 

$$\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_n > 0$$

 

---

$A\in \mathbb{R}^{m\times n} \text{ where }m \ge n$이면서 $A$의 rank가 $n$일 때

$S=A^\top A$ 인 경우로 한정할 경우,

$S$는 symmetric matrix ($S^\top =S$)이기 때문에 항상 orthogonal diagonalization이 가능함.

2022.11.17 - [.../Math] - [LA] Diagonalization, Orthogonal Diagonalization, and Symmetric Matrix

[LA] Diagonalization, Orthogonal Diagonalization, and Symmetric Matrix

 

또한 $S=A^\top A$는 $A$의 rank가 $n$이기 때문에 $n \times n$ matrix이면서 역시 rank가 $n$임.

• 이는 $S$가 $n$개의 0이 아닌 eigen values (muliplicity 를 개별로 카운팅)를 가짐을 의미함.

동시에 $S=A^\top A$는 $A$의 rank에 상관없이 Positive semi-definite이기 때문에

• $S$의 모든 eigen value는 0 이상임.

이 둘을 고려하면 rank 가 $n$인 $S$는 항상 0보다 큰 positive eigen value를 $n$개 가질 수 있음.

 

즉, 항상 $S=A^\top A$는 항상 eigen decomposition이 가능하며  $n$개의 positive 인 eigen values를 구할 수 있음.

결론적으로, 구해지는

• $S$의 eigen value $\lambda_i(A^\top A)$ (이는 $S=A^\top A$에서 구해진 $i$번째 eigen value를 의미함)와
• $A$에 구해진 singular value $\sigma_i(A)$들이

다음의 순서로 sorting시킬 경우 

$$ \sigma_1(A) \ge \sigma_2(A) \ge \dots \ge \sigma_n(A) > 0$$

$$ \lambda_1(A^\top A) \ge \lambda_1(A^\top A) \ge \dots \ge \lambda_n(A^\top A) > 0$$

다음의 관계를 가짐.

$$\sigma_i(A)=\sqrt{\lambda_i(A^\top A)}$$

 

• singular value는 위의 식에서 제곱근이므로 항상 positive여야 함.
• 앞서 말했지만, $S$의 rank가 $n$이고 symmetric하고, positive semi-definite이므로 $S$의 eigen values는 positive임.
• 때문에 $A$의singular value도 역시 positive임.