Similarity Metrics

https://forensics.tistory.com/49

1. 거리 기반 (Distance-based) Similarity

• Euclidean distance (L2) : $|x-y|_2$, 가장 일반적인 거리 척도.
• Manhattan distance (L1) : $|x-y|_1$, 절댓값 합. 희소 데이터에 강건.
• Minkowski distance : Lp 일반화. $p=1 → L1$, $p=2 → L2$.
• Mahalanobis distance : $\sqrt{(x-y)^T \Sigma^{-1} (x-y)}$, 공분산 구조를 반영 → scale-invariant.

2024.10.02 - [Programming/ML] - [ML] Minkowski Distance (L-p Norm)

[ML] Minkowski Distance (L-p Norm)

https://dsaint31.me/mkdocs_site/DIP/cv2/etc/dip_metrics/#distance-function-or-metric

BME

---

2. 내적 기반 (Inner-product based) Similarity

• Linear kernel : $K(x,y) = x^\top y$, inner product
• Cosine similarity : $\frac{x \cdot y}{|x||y|}$, 방향 유사도. NLP 벡터, 추천 시스템에서 많이 활용.
• Polynomial kernel : $K(x,y) = (x^\top y + c)^d$, 고차원 feature 매핑.

2024.10.28 - [.../Math] - [Math] Inner Product (or Hermitian Inner Product, 내적)

[Math] Inner Product (or Hermitian Inner Product, 내적)

 

2023.07.23 - [.../Math] - [ML] Cosine Similarity

[ML] Cosine Similarity

 

2024.09.28 - [Programming/ML] - [ML] Kernel Function 이란: Kernel Trick 포함

[ML] Kernel Function 이란: Kernel Trick 포함

---

3. 지수/커널 기반 (Exponential / Kernel-based)

• RBF (Gaussian kernel) : $K(x,y) = \exp(-\gamma |x-y|^2)$
• Laplacian kernel : $K(x,y) = \exp(-\gamma |x-y|_1)$, L1 기반.
• Exponential kernel : $K(x,y) = \exp(-\gamma |x-y|_2)$, Manhattan distance를 쓰는 경우도 존재.

2024.09.26 - [Programming/ML] - [ML] Radial Basis Function Kernel (RBF Kernel)

[ML] Radial Basis Function Kernel (RBF Kernel)

---

4. 확률/정보이론 기반

• KL divergence (Kullback–Leibler divergence): $D_{KL}(P||Q) = \sum P(x)\log \frac{P(x)}{Q(x)}$
  • KL divergence의 대칭성 보완: Jensen-Shannon divergence.
• Bhattacharyya distance / Hellinger distance : 분포 간 겹침 정도.
• Mutual information : 확률변수 간 공유 정보량 (X를 알면 Y의 불확실성이 얼마나 줄어드는지 정량화). $I(X;Y) = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}$

2022.05.12 - [.../Math] - [Math] Kullback-Leibler Divergence

[Math] Kullback-Leibler Divergence

---

5. 집합 기반 (Set-based Similarity)

• Jaccard similarity : $\frac{|A \cap B|}{|A \cup B|}$, set/binary feature vector similarity.  IoU(Intersecton over Union)이라고도 불림.
  • 통계학/정보 검색(IR)·집합론 등에선 Jaccard similarity로 불리나,
  • CV등에선 IoU가 보다 많이 사용됨.
• Dice coefficient : $\frac{2|A \cap B|}{|A|+|B|}$, 특히 이미지 마스크 유사도에서 자주 사용.
  • Dice coefficient에 기반한 Dice loss의 경우 cross entropy에 비교할 때, foreground에 대한 고려만 이루어진다는 약점이 있음.
  • binary segementation 등으로 한정할 경우 f2 score에 해당: 일종의 harmonic mean임.

2025.09.25 - [Programming/ML] - Dice Coefficient and IoU

Dice Coefficient and IoU

---

6. 기타 특수한 경우

• Histogram intersection kernel : $\sum_i \min(x_i, y_i)$, 영상 처리에서 많이 활용.
  • $K(x, y) = \sum_{i=1}^d \min(x_i, y_i)$ 으로 클수록 두 분포가 비슷함.
  • normalization 을 시킬 경우, $\sum_{i}x_i$로 하는 버전과 $\sum_i \max(x_i, y_i)$로 하는 버전이 존재.
  • 후자의 경우는 Jaccard similarity와 비슷함.
  • 직관적으로 두 히스토그램의 겹치는 면적임 (Positive semi-definite kernel 임이 증명되어 SVM 의 kernel로도 사용됨)
• Earth Mover’s Distance (Wasserstein distance) : 분포 간 “질량 이동 비용” → GAN, OT (Optimal Transport) 분야.
• Dynamic Time Warping (DTW) : 시계열 데이터 유사도.