[ML] Radial Basis Function Kernel (RBF Kernel)

RBF Kernel

RBF 커널 또는 Gaussian 커널이라고도 불리는 함수

• 머신 러닝에서 Kernel Function으로 널리 사용되는 함수
• 서포트 벡터 머신(SVM), 커널 PCA 등의 알고리즘에서 사용.
• similarity 계산 및 고차원 feature space에 매핑후 inner product 값을 구하는 등에서 사용됨.
• similarity metric으로 사용됨 (distnace function은 아님)

distance 와 similarity의 차이가 명확하지 않으면 다음 접은 글을 참고

https://dsaint31.me/mkdocs_site/DIP/cv2/etc/dip_metrics/#distance-function-or-metric

BME228

2025.09.25 - [Programming/ML] - Similarity Metrics

Similarity Metrics

---

Kernel(커널)이 무엇인지 명확하지 않으면 다음 접은 글을 참고

2024.09.28 - [Programming/ML] - [ML] Kernel Function 이란

[ML] Kernel Function 이란

---

 

---

1. 정의:

RBF 커널은 두 샘플 $\textbf{x}$와 $\textbf{y}$ 사이의 유사도를 다음과 같이 정의:

$$K(\textbf{x}, \textbf{y}) = \exp(-\gamma \|\textbf{x} - \textbf{y}\|_2^2)$$

where,

• $\|\textbf{x} - \textbf{y}\|$는 $\textbf{x}$와 $\textbf{y}$ 사이의 유클리드 거리.
• $\gamma$는 Kernel의 폭을 조절하는 parameter.

참고로 Normal distribution은 다음과 같음:

$$f(x|\mu, \sigma^2)= \frac{1}{\sqrt{2\pi \sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right)$$

다음은 gamma 에 의한 RBF의 모양을 보여줌($\gamma \propto \frac{1}{\sigma^2}$)

 

비슷한 similarity를 측정하는 용도의 exponential similarity에 대해선 다음을 참고:

Similarity를 측정하는 metric에서 exponential 계열의 대표이며 비슷한 것들은 다음과 같음:

 

Exponetial (L2-Norm 기반): $\exp(-\gamma \|\textbf{x}-\textbf{y}\|_2)$

Laplacian (L1-Norm 기반): $\exp(-\gamma \| \textbf{x}-\textbf{y} \|_1)$

 

2025.01.13 - [.../Math] - [Math] Laplace Distribution

[Math] Laplace Distribution

 

---

2. 특징:

• 값의 범위:
  • (0,1] 
  • 1은 완전히 동일함을,
  • 0은 매우 다름 을 의미함 (이론적으로 0은 안나옴).
• 거리에 따른 감소:
  • 두 점 사이의 거리가 멀어질수록
  • similarity가 지수적으로 감소: RBF는 동일성과 tri-angular inequality가 성립하지 않아서 distance function이 아닌 similarity function임.
• nonlinear(비선형) 변환:
  • 원본 특성 공간 (feature sapce)을
  • 무한차원의 힐베르트 공간(정확히는 Reproducing Kernel Hilbert Space)으로 암시적으로 mapping.
  • 원본 feature space에서 선형 분리가 안되던 것을 무한차원의 RKHS로 mapping하여 Decision Boundary를 찾아내는데 사용됨. 

“힐베르트 공간(Hilbert space)"은 유클리드 공간(좌표평면이나 3차원 공간)에서 점과 내적 개념을 무한차원까지 일반화한 공간

---

3. $\gamma$ (gamma) Parameter:

다음은 kernel SVM 에서 RBF를 사용한 경우를 기준으로 기재함.

• $\gamma$가 크면:
  • Similarity가 빠르게 감소하여
  • classifier decision boundary(결정 경계)가 더 구불구불해짐: 이같은 RBF를 사용하는 SVM의 경우 복잡도 상승.
  • overfitting 위험 (복잡도 증가- 국소적인 차이에 반응)
• $\gamma$가 작으면:
  • 유사도가 천천히 감소하여
  • 결정 경계가 더 부드러워짐 
  • underfitting 위험 (복잡도 감소 - 부드러운 결정경계라 국소적 차이에 둔감).

 

---

4. 장점:

• 다양한 데이터셋에 잘 작동.
• 모델의 복잡성을 쉽게 조절할 수 있음($\gamma$를 통해).
• 비선형 관계를 잘 포착.

---

5. 단점:

• 고차원 데이터에서는 계산 비용이 높을 수 있음.
• $\gamma$ 값의 적절한 선택이 매우 중요(성능에 끼치는 영향이 큼)하며,
• 이는 보통 교차 검증 등을 통해 세심하게 결정되어야 함.

---

6. scikit-learn에서의 사용:

from sklearn.metrics.pairwise import rbf_kernel

X = [[0, 0], [1, 1]]

similarity_matrix = rbf_kernel(X, gamma=0.1)

 

위의 경우처럼 참조 포인트(ref_pnt, Y)를 명시하지 않으면,

• RBF 커널은 입력 데이터셋 내의 모든 포인트 쌍 사이의 similarity를 계산함.
• 이는 데이터셋 전체의 구조를 파악하는 데 유용,
• 대규모 데이터셋에서는 계산 비용과 메모리 사용에 주의해야 함: $O(n^2)$.​​​​​​​​​​​​​​​​

---

7. 결론

RBF 커널은 그 유연성과 효과적인 비선형 매핑 능력 때문에 많은 머신 러닝 애플리케이션에서 선호됨.

특히 데이터의 구조나 관계에 대한 사전 지식이 부족할 때 좋은 선택이 될 수 있음.​​​​​​​​​​​​​​​​

---

같이 보면 좋은 자료들

2025.09.25 - [Programming/ML] - Similarity Metrics

Similarity Metrics

2022.05.30 - [Programming/ML] - [ML] Summary SVM

[ML] Summary SVM

---