Orthogonal Matrix
Matrix의 row vector (and column vector)들이
자기자신을 제외한 나머지 row vector (and column vector)들과 orthonormal인 square matrix.
$$A^{-1}=A^\top \\ A^\top A = I \\ \mathbf{a}_i^\top \mathbf{a}_j = \mathbf{a}_i \cdot \mathbf{a}_j = 0, \quad \text{ where } i\ne j \\ \mathbf{a}_i^\top \mathbf{a}_j = \mathbf{a}_i \cdot \mathbf{a}_j = 1, \quad \text{ where } i = j$$
- 엄격히 애기해서 orthogonal matrix는 $A^{-1}=A^\top$인 경우로 square matrix에서만 성립함.
- 이후 애기하는 orthonormal column matrix (~orthonormal matrix)라는 용어보다 좁은 범위임
- orthogonal matrix는 orthonormal column matrix 중 square matrix만으로 한정.($A^{-1}=A^\top$)
하지만, vector에서 확장된 개념으로 이해하는 경우가 많아서
그런지 두 용어(orthonormal matrix와 orthogonal matrix)가 자주 혼용됨.
(사실 orthonormal matrix는 linear algebra 책에서는 잘 등장하지 않는다. )
단, orthogonal matrix를 보다 일반화한 경우인 "orthonormal column matrix"는 사용되는 용어임.
orhtonormal column matrix는 $A^\top A=I \text{ or } AA^\top=I$를 만족하는 matrix로서 꼭 square matrix가 아니어도 됨.
주의할 점은 linear algebra에서 orhtogonal matrix는
- square matrix이며,
- 각 column vector를 자신과 inner product시키면 1임.
위의 수식에서 $A$로 Orthogonal Matrix를 표시했는데,
보통은 $Q$로 기재하는게 일반적임.
QR Decomposition에서
Q가 바로 Orthogonal Matrix를 의미함.
참고로, Orthogonal matrix는 Real Matrix이며,
complex number로 확장한 complex matrix의 경우, Unitary matrix가 orthogonal matrix에 해당함.
Unitary matrix $U$는 $\hat{U}^\top(=U^H)=U^{-1}$를 만족:
Fourier Transform에 해당하는 matrix가
바로 Unitary Matrix임.
다시 말하지만, orthogonal matrix라고 표현할 경우, orthogonal + normal을 의미한다.
Rotation Matrix 가
대표적인 Orthogonal Matrix의 예임.
참고 : Orthonormal Vector
$$\textbf{v}_1\cdot\textbf{v}_2=0 \text{ and } |\textbf{v}_1|=1, |\textbf{v}_2|=1$$
- 두 vector의 inner product가 0인 경우, 서로 orthogonal 하다고 말함.
- 어떤 vector의 norm(or length, 또는 크기)을 1로 만들어 unit vector로 만드는 것을 normalization 이라고 함.
orthonormal은 위 두 단어가 합쳐진 용어로
- 두 vector가 모두 unit vector이면서
- orthogonal한 경우를 가르킴.
Orthonormal Column Matrix
Row vector (and column vector)들이
자기자신을 제외한 나머지 row vector (and colunm vector)들과
orthonormal인 matrix, $Q$. ( ◀square matrix에 한정되지 않음)
$$Q=\begin{bmatrix}| & & | \\ q_1 & \cdots & q_n \\ | & & | \end{bmatrix}$$
이 경우, 다음이 성립함.
$$Q^\top Q=I \text{ or }QQ^\top=I$$
사실 QR Decomposition의 reduced 경우는 $Q$가 square matrix가 아님.
2025.01.26 - [.../Linear Algebra] - [LA] Gram-Schmidt Process and QR Decomposition
[LA] Gram-Schmidt Process and QR Decomposition
Gram-Schmidt Process는 임의의 Subspace $W$에서 Orthogonal Basis를 찾는 과정임. 0. Pre-Requirements우선 다음을 기억하자Basis에 속하는 Vector들로 Span 하면, Subppace $W$ 내의 모든 Vector를 표현가능!Basis 에 속하는
dsaint31.tistory.com
Square Orthonormal Column Matrix (=Orthogonal Matrix)
Orthonormal Column matrix 가 square 인 경우 (정방행렬), 다음이 성립함.
$$Q^\top Q=I \text{ and }QQ^\top=I\leftrightarrow Q^\top =Q^{-1}$$
Orthogonal matrix and Symmetric matrix
Symmetric Matrix는 square matrix 중에서도 매우 특수한 matrix로서,
$A^{\top}=A$가 만족하는 경우이다.
이는
- 항상 orthogonal matrix인 square eigenvector matrix를 얻을 수 있으며,
- 동시에 항상 orthogonal (or orthonormal) diagonalizable임 (필요충분조건).
Symmetric matrix관련해서는 다음 URL을 참고.
[LA] Diagonalization (Eigen-Decomposition), Orthogonal Diagonalization, and Symmetric Matrix
Diagonalizable (대각화)Sqaure Matrix가 $n$개의 eigenvalue를 가지고 (multiplicity를 감안하여 중복 카운트. 0인 Eigenvalue도 카운트), 이들 각각의 eigenvalue들이 각자의 multiplicity에 해당하는 dimension을 가지는 eige
dsaint31.tistory.com
'... > Math' 카테고리의 다른 글
| [LA] 예제: Eigenvalue, Eigenvector 구하기 (0) | 2022.12.01 |
|---|---|
| [LA] Hermitian Matrix and Unitary Matrix (1) | 2022.11.25 |
| [LA] Normal Matrix (정규행렬) (0) | 2022.11.17 |
| [Math] Multi-variable vs. Multi-variate and Multiple Regression (0) | 2022.11.17 |
| [Math] Random Experiment (확률 실험, Trial, 시행)와 Event (0) | 2022.10.14 |