Singular Value Decomposition

Rank가 $n$인 matrix $S\in \mathbb{R}^{m\times n}\text{ where }m\ge n$ 에서

  • orthonormal vector set$\{\textbf{v}_1, \dots, \textbf{v}_n\}, \{\textbf{u}_1, \dots \textbf{u}_n\}$ 와
  • positive scalr set $\{\sigma_1, \dots, \sigma_n\}$에 대하여

$$A\textbf{v}_i=\sigma_i\textbf{u}_i \text{ where } i=1,2,\dots,n$$

를 만족한다고 가정하자.

이때, positive scalar 인 $\sigma_1, \dots,\sigma_n$들을 matrix $A$의

  • singular value (특이값)이라고 한다.

동시에, 해당 singular value들에 각각 대응하는 orthonomal vector $\textbf{v}_i$와 $\textbf{u}_i$를 각각

  • right singular vector,
  • left singular vector 라고 한다.

SVD의 경우, positive singular values는 내림차순으로 나열되는 게 일반적이며 이는 다음이 성립함을 의미함.

 

$$\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_n > 0$$

 


$A\in \mathbb{R}^{m\times n} \text{ where }m \ge n$이면서 $A$의 rank가 $n$일 때

$S=A^\top A$ 인 경우로 한정할 경우,

$S$는 symmetric matrix ($S^\top =S$)이기 때문에 항상 orthogonal diagonalization이 가능함.

2022.11.17 - [.../Math] - [LA] Diagonalization, Orthogonal Diagonalization, and Symmetric Matrix

 

[LA] Diagonalization, Orthogonal Diagonalization, and Symmetric Matrix

Diagonalizable sqaure matrix가 n개의 eigen value를 가지고, 이들 각각의 eigen value들이 각자의 multiplicity에 해당하는 dimension을 가지는 eigne space를 가지고 있는 경우에 해당. 각기 다른 eigen value의 eigen space들

dsaint31.tistory.com

 

또한 $S=A^\top A$는 $A$의 rank가 $n$이기 때문에 $n \times n$ matrix이면서 역시 rank가 $n$임.

  • 이는 $S$가 $n$개의 0이 아닌 eigen values (muliplicity 를 개별로 카운팅)를 가짐을 의미함.

동시에 $S=A^\top A$는 $A$의 rank에 상관없이 Positive semi-definite이기 때문에

  • $S$의 모든 eigen value는 0 이상임.

이 둘을 고려하면 rank 가 $n$인 $S$는 항상 0보다 큰 positive eigen value를 $n$개 가질 수 있음.

 

즉, 항상 $S=A^\top A$는 항상 eigen decomposition이 가능하며  $n$개의 positive 인 eigen values를 구할 수 있음.

결론적으로, 구해지는

  • $S$의 eigen value $\lambda_i(A^\top A)$ (이는 $S=A^\top A$에서 구해진 $i$번째 eigen value를 의미함)와
  • $A$에 구해진 singular value $\sigma_i(A)$들이

다음의 순서로 sorting시킬 경우 

$$ \sigma_1(A) \ge \sigma_2(A) \ge \dots \ge \sigma_n(A) > 0$$

$$ \lambda_1(A^\top A) \ge \lambda_1(A^\top A) \ge \dots \ge \lambda_n(A^\top A) > 0$$

다음의 관계를 가짐.

$$\sigma_i(A)=\sqrt{\lambda_i(A^\top A)}$$

 

  • singular value는 위의 식에서 제곱근이므로 항상 positive여야 함.
  • 앞서 말했지만, $S$의 rank가 $n$이고 symmetric하고, positive semi-definite이므로 $S$의 eigen values는 positive임.
  • 때문에 $A$의singular value도 역시 positive임.
반응형

+ Recent posts