[ML] Minkowski Distance (L-p Norm)

Minkowski 거리는

• L-p Norm의 한 형태
• 두 개의 점 사이의 distance(거리)를 일반화한 metric.

distance의 개념은 다음 접은 글을 참고:

https://dsaint31.me/mkdocs_site/DIP/cv2/etc/dip_metrics/#distance-function-or-metric

BME228

---

---

L-p Norm 정의:

L-p Norm은 vector의 크기(길이)를 측정하는 방식으로, 일반적으로 아래와 같이 정의:

$$| \mathbf{x} |_p = \left( \sum_{i=1}^{n} |x_i|^p \right)^{\frac{1}{p}}$$

where:

• $\mathbf{x} = (x_1, x_2, \dots, x_n)$: 벡터 $\mathbf{x}$의 각 좌표.
• $p$: Norm의 차수(order)를 나타내는 파라미터, 양의 실수.

Norm에 대한 보다 자세한 것은 다음 접은 글의 url참고:

https://bme808.blogspot.com/search?q=norm

bme808

---

---

Minkowski 거리와 L-p Norm의 관계:

Minkowski 거리는

• 두 점 $\mathbf{x} = (x_1, x_2, \dots, x_n)$와 $\mathbf{y} = (y_1, y_2, \dots, y_n)$ 사이의
• distance를 측정할 때 L-p Norm을 사용.

$$D(\mathbf{x}, \mathbf{y}) = \left( \sum_{i=1}^{n} |x_i - y_i|^p \right)^{\frac{1}{p}}$$

 

이는 두 벡터 사이의 차이 벡터 $\mathbf{x} - \mathbf{y}$의 p-Norm을 구하는 것과 동일함.

Minkowski 거리는 L-p Norm을 기반으로
두 점 간의 distance를 generalizaton한 공식이라고 할 수 있음.

---

특수한 경우:

p = 1:

Manhattan Norm 또는 Manhattan Distance로, 벡터의 각 좌표 차이의 절댓값을 더한 값을 의미.

$$| \mathbf{x} |_1 = \sum_{i=1}^{n} |x_i|$$

---

p = 2:

Euclidean Norm 또는 Euclidean Distance로, 벡터의 각 좌표 차이의 제곱을 더한 후 그 값을 제곱근한 값입니다.

$$|\mathbf{x} |_2 = \left( \sum_{i=1}^{n} |x_i|^2 \right)^{\frac{1}{2}}$$

---

p = $\infty$:

Chebyshev Norm으로, 벡터의 각 좌표 차이 중 가장 큰 절댓값을 의미합니다.
$$| \mathbf{x} |_\infty = \max(|x_1|, |x_2|, \dots, |x_n|)$$

---

응용사례: KNeighborsClassifier or KNeighborsRegressor

from sklearn.neighbors import KNeighborsClassifier
 
# KNN 모델을 Minkowski 거리를 사용하여 생성 (p=2는 유클리드 거리)
knn = KNeighborsClassifier(
         n_neighbors=3, 
         metric='minkowski', 
         p=2,
      )
 
# 모델 학습 및 예측
knn.fit(X_train, y_train)
y_pred = knn.predict(X_test)