[LA] Properties of Hermitian Matrix

0. Definition of Hermitian Matrix

모든 entity들에 complex conjugate를 취하고 Transpose를 할 경우, 자기자신이 나오는 matrix.

$$A={A^*}^\top(=A^H)$$

• complex conjugate를 취하고 tanspose하는 연산을 Herimitian adjoint (에르미트 수반) 또는 줄여서 adjoint라고 부름: 다른 이름으로 켤레전치(conjugate transpose)라고도 불림.
• 역행렬을 구할 때 cofactor들로 구성된 행렬의 transpose도 adjoint matrix 또는 줄여서 adjoint라고 불렸었는데 
• 이를 Hermitian adjoint와 구분하기 위해 최근엔 classic adjoint 또는 adjugate 라고 부름.

실수에서의 symmetric matrix를
복소수로 확장한 것이 Hermitian matrix임.
Hermitian matrix중 특별한 것이
Symmetric matrix임(실수로 한정시킴)

Hermitian symmetry가 성립하는 matrix라고 볼 수 있음.

https://bme808.blogspot.com/2022/11/math-hermitian-symmetry.html

Math : Hermitian Symmetry

함수에서도 Hermitian symmetry가 가능한데,

• compelx conjugate를 가하는 건 같고 
• transpose는 독립변수에 reflection 연산을 취하는 것임.

$$f(-x)=f^*(x)\quad \text{or}\quad f(x)=f^*(-x)$$

---

 

1. Hermitian Matrix의 성질

$A$가 Hermitian matrix인 경우 다음이 성립함.

1-1. $\textbf{x}^HA\textbf{x}$는 항상 real number(실수)임.

$\textbf{x}^H$는 $\textbf{x}$에 대해 complex conjugate를 취하고 transpose를 시키는 conjugate tanspose를 의미함. vector외에 matrix에도 취할 수 있음.

우선, $\textbf{x}^HA\textbf{x}(={\textbf{x}^*}^\top A\textbf{x})$는 scalar (or $1\times 1$ matrix)임 (quadratic form은 scalar-valued function).

• scalar의 경우, transpose를 취해도 같은 값임. (scalar를 $1\times 1 matrix$로 생각)

이에 따라 다음이 성립 [$z^*$는 $z$에 대한 complex conjugate를 의미함].

$$\left({\textbf{x}^*}^\top A\textbf{x}\right)^*=\left[\left({\textbf{x}^*}^\top A\textbf{x}\right)^*\right]^\top=\left[\textbf{x}^\top A^*\textbf{x}^*\right]^\top ={\textbf{x}^*}^\top{A^*}^\top \textbf{x}$$

위 식에서 $A$가 Hermitian matrix ($A={A^*}^\top=A^H$)이므로, 다음이 성립함

$$\left({\textbf{x}^*}^\top A\textbf{x}\right)^*={\textbf{x}^*}^\top {A^*}^\top \textbf{x}={\textbf{x}^*}^\top A\textbf{x}$$

앞서 말한대로, scalar이므로 transpose해도 같아야 하며, 자신과 자신의 complex conjugate가 같으므로 ${\textbf{x}^*}^ \top A\textbf{x} (= \textbf{x}^HA\textbf{x})$는 real number이어야만 한다.

---

1-2. Hermitian Matrix $A$ 의 eigen value는 모두 실수임.

$\lambda$를 $A$의 eigen value라고 하고, $\textbf{x}$를 $\lambda$에 대응하는 eigen vector라고 하면, 다음이 성립함.

$$\textbf{x}^HA\textbf{x}=\textbf{x}^H\lambda\textbf{x}=\lambda \textbf{x}^H\textbf{x}=\lambda \|\textbf{x}\|^2$$

$\textbf{x}^HA\textbf{x}$는 real number이며, $\|\textbf{x}\|^2$도 0이 아니므로(eigen vector는 정의에서부터 zero vector가 아니기 때문에 norm이도 0이 아닌 positive real number임), $\lambda$도 real number여야만 함.

---

1-3. Hermitian Matrix $A$ 의 distinct한 eigen value들에 대응하는 eigen vector들은 서로 orthogonal함.

$\textbf{v}_1$과 $\textbf{v}_2$가 $A$의 eigen vector이고, 이에 대응하는 eigen value가 $\lambda_1,\lambda_2$라고 하면 다음이 성립함.

$$\begin{aligned} \lambda_1 \textbf{v}_1 \cdot \textbf{v}_2 &= (\lambda_1 \textbf{v}_1)^\top \textbf{v}_2 = (A\textbf{v}_1)^\top \textbf{v}_2 & \text{ Since } \textbf{v}_1 \text{ is an eigenvector} \\ &= (\textbf{v}_1^\top  A^\top)\textbf{v}_2 = \textbf{v}_1^\top (A \textbf{v}_2) & \text{ Since } A^\top = A \\ &= \textbf{v}_1^\top (\lambda_2 \textbf{v}_2) & \text{ Since } \textbf{v}_2 \text{ is an eigenvector} \\ &= \lambda_2 \textbf{v}_1^\top \textbf{v}_2 = \lambda_2 \textbf{v}_1 \cdot \textbf{v}_2 \end{aligned}$$

$(\lambda_1 - \lambda_2) \textbf{v}_1 \cdot \textbf{v}_2 = 0$이 성립하는데, $\lambda_1 \ne \lambda_2$이므로 결국, 다음이 성립.

$$\textbf{v}_1 \cdot \textbf{v}_2 = 0. $$

---

2. Unitary Matrix와의 관계

만약 multiplicity인 eigen value에 해당하는 eigen space에서 해당 multiplicity와 같은 수의 orthogonal eigenvector를 가질 경우, Unitary matrix $U$가 됨.

$$U^H U= U U^H = I \\ U^H = U^{-1}$$ 

Unitary Matrix는
실수에서의 Orthogonal Matrix를
복소수로 확장한 것임.

 

참고로, Fourier Transform에 해당하는 matrix $F$가 바로 Unitary Matrix임.

$$F_{m,n} = \frac{1}{\sqrt{N}}e^{-j \frac{2\pi}{N}mn}$$

where

• $N$: matrix의 크기 (square matrix로 행과 열이 모두 $N$개임)
• $m,n$: 행과 열의 index.

---