[LA] Orthogonal Matrix (직교행렬) and Orthonormal Vector

Orthogonal Matrix

Matrix의 row vector (and column vector)들이
자기자신을 제외한 나머지 row vector (and column vector)들과 orthonormal인 square matrix.
$$A^{-1}=A^\top \\ A^\top A = I \\ \mathbf{a}_i^\top \mathbf{a}_j = \mathbf{a}_i \cdot \mathbf{a}_j = 0, \quad \text{ where } i\ne j \\ \mathbf{a}_i^\top \mathbf{a}_j = \mathbf{a}_i \cdot \mathbf{a}_j = 1, \quad \text{ where } i = j$$

• 엄격히 애기해서 orthogonal matrix는 $A^{-1}=A^\top$인 경우로 square matrix에서만 성립함.
• 이후 애기하는 orthonormal column matrix (~orthonormal matrix)라는 용어보다 좁은 범위임
  • orthogonal matrix는 orthonormal column matrix 중 square matrix만으로 한정.($A^{-1}=A^\top$)

하지만, vector에서 확장된 개념으로 이해하는 경우가 많아서
그런지 두 용어(orthonormal matrix와 orthogonal matrix)가 자주 혼용됨.
(사실 orthonormal matrix는 linear algebra 책에서는 잘 등장하지 않는다. )

단, orthogonal matrix를 보다 일반화한 경우인 "orthonormal column matrix"는 사용되는 용어임.
orhtonormal column matrix는 $A^\top A=I \text{ or } AA^\top=I$를 만족하는 matrix로서 꼭 square matrix가 아니어도 됨.

주의할 점은 linear algebra에서 orhtogonal matrix는

• square matrix이며,
• 각 column vector를 자신과 inner product시키면 1임.

위의 수식에서 $A$로 Orthogonal Matrix를 표시했는데,
보통은 $Q$로 기재하는게 일반적임.
QR Decomposition에서 
Q가 바로 Orthogonal Matrix를 의미함.

참고로, Orthogonal matrix는 Real Matrix이며,

complex number로 확장한 complex matrix의 경우, Unitary matrix가 orthogonal matrix에 해당함.

Unitary matrix $U$는 $\hat{U}^\top(=U^H)=U^{-1}$를 만족:

Fourier Transform에 해당하는 matrix가
바로 Unitary Matrix임.

다시 말하지만, orthogonal matrix라고 표현할 경우, orthogonal + normal을 의미한다.

 

Rotation Matrix 가
대표적인 Orthogonal Matrix의 예임.

---

참고 : Orthonormal Vector

$$\textbf{v}_1\cdot\textbf{v}_2=0 \text{ and } |\textbf{v}_1|=1, |\textbf{v}_2|=1$$

• 두 vector의 inner product가 0인 경우, 서로 orthogonal 하다고 말함.
• 어떤 vector의 norm(or length, 또는 크기)을 1로 만들어 unit vector로 만드는 것을 normalization 이라고 함.

orthonormal은 위 두 단어가 합쳐진 용어로

• 두 vector가 모두 unit vector이면서
• orthogonal한 경우를 가르킴.

---

Orthonormal Column Matrix

Row vector (and column vector)들이
자기자신을 제외한 나머지 row vector (and colunm vector)들과
orthonormal인 matrix, $Q$. ( ◀square matrix에 한정되지 않음)
$$Q=\begin{bmatrix}| & & | \\ q_1 & \cdots & q_n \\ | & & | \end{bmatrix}$$
이 경우, 다음이 성립함.
$$Q^\top Q=I \text{ or }QQ^\top=I$$

 

사실 QR Decomposition의 reduced 경우는  $Q$가 square matrix가 아님.

2025.01.26 - [.../Linear Algebra] - [LA] Gram-Schmidt Process and QR Decomposition

[LA] Gram-Schmidt Process and QR Decomposition

---

Orthogonal Square Matrix (=Orthogonal Matrix)

Orthogonal matrix 가 square 인 경우 (정방행렬), 다음이 성립함.
$$Q^\top Q=I \text{ and }QQ^\top=I\leftrightarrow Q^\top =Q^{-1}$$

---

Orthogonal matrix and Symmetric matrix

Symmetric Matrix는 square matrix 중에서도 매우 특수한 matrix로서,
$A^{\top}=A$가 만족하는 경우이다.
이는

• 항상 orthogonal matrix인 eigenvector square matrix를 얻을 수 있으며,
• 동시에 항상 orthogonal (or orthonormal) diagonalizable임 (필요충분조건).

Symmetric matrix관련해서는 다음 URL을 참고.

2022.11.17 - [.../Math] - [LA] Diagonlization, Orthogonal Diagonlization, and Symmetric Matrix

[LA] Diagonlization, Orthogonal Diagonlization, and Symmetric Matrix

---