[Math] Inner Product (or Hermitian Inner Product, 내적)

Inner product (내적)은
vector space이나 function space에서
두 대상 간의 relationship(관계)를 나타내는 operation(연산).

 

다음의 세 가지 성질을 만족할 때 Inner Product라 부르며, 이를 통해

• 두 벡터나 함수 간의
• simmilarity(유사성 ~ 사이각),
• orthogonality(직교성) 등

을 평가할 수 있음.

 

다른 응용으로는 orthogonal projection 과 성분 분해(component 구하기) 임.

---

1.Inner Prodcut 의 성질 (or Definition)

1-1. 선형성(Linearity):

• Inner product는 첫 번째 항에 대해 스칼라 곱에 대해 선형성을 가져야 합니다.

$$\langle af + bg, h \rangle = a \langle f, h \rangle + b \langle g, h \rangle$$

여기서

• $a$와 $b$는 스칼라,
• $f$, $g$, $h$는 벡터(또는 함수).

2023.08.21 - [.../Signals and Systems] - [SS] System의 종류 (1) : Continuous, Linear

[SS] System의 종류 (1) : Continuous, Linear

---

---

1-2. Hermitian 대칭성(Hermitian Symmetry):

• Inner product는 두 항을 교환할 때 복소수 켤레 (complex conjugate) 관계를 유지해야 함.
• 이를 Hermitian 내적이라고도 부르며, 다음과 같은 대칭성을 가짐.

$$\langle f, g \rangle = \overline{\langle g, f \rangle}$$

특히 실수 공간에서는 $\langle f, g \rangle = \langle g, f \rangle$가 성립.

https://bme808.blogspot.com/2022/11/math-hermitian-symmetry.html

Math : Hermitian Symmetry

 

2022.11.25 - [.../Math] - [LA] Properties of Hermitian Matrix

[LA] Properties of Hermitian Matrix

---

---

1-3. 양의 준정부호성(Positive Semi-definiteness):

• 자기 자신과의 inner product, 즉 $\langle f, f \rangle$이 항상 0 이상의 실수여야 함.
• 이 값이 0일 때 $f$는 $\textbf{0}$ 벡터(또는 0 함수)여야 함.

$$\langle f, f \rangle \geq 0 \quad \text{그리고} \quad \langle f, f \rangle = 0 \Rightarrow f = 0$$

---

위의 세 가지 성질을 만족하는 연산을 Inner Product(내적)이라 부르며,
특히 Hermitian Symmetry를 강조하여 Hermitian Inner Product라고도 부름.

 

Hermitian Inner Product는

• 복소수 벡터 공간에서 흔히 사용되며,
• 복소수 성분을 다룰 때 대칭성을 유지하도록
• 복소수 켤레를 포함한 연산을 사용함.

---

참고: complex conjugate 가 필요한 이유

참고-1. Hermitian 대칭성 유지:

복소수 함수의 내적에서 Hermitian 대칭성을 유지하기 위해 필요함.

$$\langle f, g \rangle = \overline{\langle g, f \rangle}$$

• complex conjugate를 도입하여야 inner product가 대칭성을 가짐.

참고-2. Positive Semi-definiteness (양의 준정부호성) 유지:

자기 자신과의 내적 $\langle f, f \rangle$이 항상 0 이상의 실수가 되도록 보장하기 위해서.

$$\langle f, f \rangle = \int_a^b f(x) \overline{f(x)} , dx \geq 0$$

---

2. 벡터 공간과 함수 공간에서 Inner Product

2-1. 벡터 공간에서의 내적

유클리드 공간에서 두 벡터 $\mathbf{u} = (u_1, u_2, \ldots, u_n)$와 $\mathbf{v} = (v_1, v_2, \ldots, v_n)$의 inner product는 다음과 같이 정의됨.

$$\begin{aligned}\mathbf{u} \cdot \mathbf{v} &= \sum_{i=1}^{n} u_i v_i \\ &= \mathbf{u}^\top \mathbf{v} \end{aligned}$$

• 이 연산은 두 벡터의 방향과 크기를 결합하여 벡터 간의 similarity(유사도)나 평행성을 측정.
• 만약 $\mathbf{u} \cdot \mathbf{v} = 0$ 이라면 두 벡터는 직교(orthogonal)한다고 정의.

---

2-2. 함수 공간에서의 내적 (Hermitian 대칭 포함)

함수 공간에서도 내적을 정의할 수 있으며, 두 함수 $f(x)$와 $g(x)$의 내적은 일반적으로 다음과 같이 적분을 통해 정의됨.

• 함수가 복소수 값을 가질 경우 Hermitian 대칭을 유지하기 위해 복소수 켤레를 포함:

$$\langle f, g \rangle = \int_a^b f(x) \overline{g(x)} , dx$$

여기서

• $\overline{g(x)}$는 $g(x)$의 complex conjugate임.
• 이 정의는 Hermitian 대칭, 양의 정부호성, 선형성 조건을 만족함.
• 구간 $[a,b]$는 일반적으로 다음과 같이 선택됨:
  • 두 함수 $f(x),g(x)$가 모두 정의된 공통 구간.
  • 적분이 수렴하도록 설정된 구간.
  • 문제의 물리적, 수학적 배경에 따라 필요에 맞게 선택.

---

3. Inner Product 의 활용 예시

1. 신호 처리:
   • 주파수 성분 분석에서 신호를 서로 직교하는 주파수 basis function(예: sin, cos, complex exponential function)로 분해하여 개별 성분을 독립적으로 분석.
   • orthogonality 덕분에 신호의 특정 성분만을 추출하거나, 노이즈와 같은 불필요한 부분을 제거하는 데 효과적.
2. Fourier 변환:
   • 주기 함수들은 서로 직교하는 basis function로 구성되며, Fourier 변환에서는 이 기저를 사용하여 신호를 주파수 영역으로 변환.
   • 이 과정에서 Fourier 기저 함수와 신호의 내적을 계산하여 주파수 성분을 추출하고, 신호를 보다 효율적으로 표현할 수 있음.
3. 영상 처리: 이미지 유사성 평가
   • Inner product을 통해 두 이미지 간의 유사도를 측정할 수 있음.
     • 예를 들어, 두 이미지의 벡터화된 픽셀 값을 내적하여 유사도를 계산하면, 내적 값이 클수록 두 이미지가 유사하다는 것을 나타냄.
     • cosine similarity.
   • 이는 패턴 인식이나 객체 탐지에서 중요한 역할을 하며, 이미지 검색 시스템에서 쿼리 이미지와 데이터베이스에 있는 이미지의 유사도를 비교하는 데 활용됨.
4. 영상 처리: 주성분 분석(PCA)
   • PCA는 covariance matrix의 eigne vector를 사용하여 고차원의 데이터(예: 이미지 데이터)를 저차원 공간으로 투영하는 차원 축소 기법.
   • 이미지의 경우, 하나의 이미지를 하나의 벡터로 간주하여 각 픽셀 값을 하나의 긴 벡터로 나열한 후, 여러 이미지의 공분산을 계산하고, 주성분 벡터들과의 내적을 통해 이미지의 주요 정보(특징)를 추출: eigenface와 같은 응용사례.
5. 영상 처리: 필터링과 컨볼루션(Convolution)
   • 영상 처리에서는 컨볼루션 연산을 통해 이미지를 다양한 필터(예: 에지 검출 필터, 블러 필터)로 변환.
     • 이때, 필터와 이미지의 각 영역 간의 내적을 계산하여 새로운 픽셀 값을 산출.
   • 필터와 이미지 패치 간의 내적을 통해 이미지의 특정 패턴을 강조하거나 약화시키는 효과 를 얻을 수 있음.
     • 예를 들어, 에지 검출 필터를 통해 이미지에서 경계선을 강조하여 객체를 구분하는 데 활용됨.

---

같이보면 좋은 자료들

Eigenface

https://darkpgmr.tistory.com/110

[선형대수학 #6] 주성분분석(PCA)의 이해와 활용

2023.07.23 - [.../Math] - [ML] Cosine Similarity

[ML] Cosine Similarity

2023.10.04 - [.../Signals and Systems] - [SS] Orthogonal function : inner product가 0

[SS] Orthogonal function : inner product가 0