eigenvalue

특정 행렬 $A$는 linear transform을 의미함: $A\mathbf{x}$는 vector $\mathbf{x}$를 linear transform하는 것에 해당. Square Matrix $A$의 eigenvector와 eigenvalue는 $A$를 standard matrix로 하는 linear transform의 고유한 특성을 나타내는 요소임.주의할 점은 eigenvalue와 eigenvector의 정의로 인해 $A$는 항상 Square Matrix임.$A$가 rectangle matrix인 경우엔 Singular Value, PCA 등이 대신 사용됨: $AA^\top, A^\top A$를 응용.Definition:$$\begin{aligned}A\mathbf{x} &= \lambda \ma..

Singular Value Decomposition $$A=U\Sigma V^\top$$ Rank가 $n$인 matrix $A\in \mathbb{R}^{m\times n}\text{ where }m\ge n$ 에서orthonormal vector set$\{\textbf{v}_1, \dots, \textbf{v}_n\}, \{\textbf{u}_1, \dots \textbf{u}_n\}$ 와non-negative scalr set $\{\sigma_1, \dots, \sigma_n\}$에 대하여 $$A\textbf{v}_i=\sigma_i\textbf{u}_i \text{ where } i=1,2,\dots,n$$ 를 만족한다고 가정하자.Singular Values and Left/Right Singular ..

출처Linear Algebra and Its Applications (5th ed.), David C. Lay, Pearson 2014Chapter 7.4 Example 1 문제$A=\begin{bmatrix}4 & 11 &14 \\ 8 & 7&-2\end{bmatrix}$를 standard matrix로 가지는 linear transformation $\textbf{x}\mapsto A\textbf{x}$에서 $\|A\textbf{x}\|$를 최대화시키는 unit vector $\textbf{x}$를 구하고, 해당 unit vector가 매핑된 vector $A\textbf{x}$의 length를 구하라.풀이해당 문제는 다음의 Constrained Optimzaion 문제임.$$\underset{\te..