[Math] Whitening Transformation

Mahalanobis distance 대신, Euclidean distance를 쓰기 위해 Data (or feature vector)를 전처리하는 transformation을 가르킴.

https://dsaint31.me/mkdocs_site/DIP/cv2/etc/dip_metrics/#mahalanobis-distance

BME228

• Whitening transformation을 거친 데이터의 경우, covariance matrix가 identity matrix로 변환됨.
• Covariance matrix, $\Sigma$가 Identity matrix일 경우 Euclidean distance와 Mahalanobis distance가 같음.

feature vector, $\textbf{x}$ (←sample 에 해당)를 전처리하여 covariance matrix를 identity matrix로 만들어주는 변환을 whitening transformation이라고 함.

Whitening transform을 하면, L2-norm(Euclidean distance)를 구하여 실제 데이터에서의 Mahalanobis distance를 얻게 된다.

• 주의할 점은 Whitening transformation을 수행하는 matrix가 unique 하지 않다 (즉, 다양한 방법이 존재하며 이들 중 하나를 골라야 함)는 점임.
• 많이 사용되는 PCA Whitening transform matrix, $W$의 경우 다음과 같은 변환으로 feature vector $\textbf{x}$를 $\textbf{y}$로 바꾸어주며, $\textbf{y}$를 사용한 Euclidean distance는 $\textbf{x}$에서의 Mahalanobis distance가 같아지게 된다.

다음은 특징점의 feature vector $\textbf{x}$가 column vector이고 $\mu=\textbf{0}$ (←zero vector)인 경우임.

 

$$\begin{aligned}\textbf{y} &= D^{-\frac{1}{2}}E^T\textbf{x} \\ &= W\textbf{x}\end{aligned}$$

 

여기서 $D$와 $E$는 covariance matrix $\Sigma$를 diagonalization하여 얻은 eigen value를 main diagonal로 가지는 diagonal matrix ($D$)와 이들 eigen value에 대응하는 eigen vector들을 열로 가지는 matrix ($E$)임.

 

$$\Sigma = EDE^{-1}$$

 

$\Sigma$는 항상 symmetric matrix이므로, 다음이 성립함. ← $E^T=E^{-1}$이므로 $E$는 orthogonal matrix.

 

$$\Sigma=EDE^{-1}=EDE^T$$

 

$\Sigma^{-1}$도 symmetric matrix이며, 다음과 같음.

 

$$\Sigma^{-1}=ED^{-1}E^{-1}=ED^{-1}E^T$$

 

$\textbf{y}$의 Euclidean distance를 계산하면 다음과 같음.

 

$$\begin{aligned}\sqrt{\textbf{y}^T\textbf{y}}&=\sqrt{ \textbf{x}^TED^{-\frac{1}{2}} D^{-\frac{1}{2}}E^T\textbf{x}}\\&=\sqrt{\textbf{x}^TED^{-1}E^T\textbf{x}}\\&=\sqrt{\textbf{x}^T\Sigma^{-1}\textbf{x}}\end{aligned}$$

 

위의 식에서 보이듯이 Whitening transform을 한 $\textbf{y}$의 Euclidean distance (leftside)는 $\textbf{x}$의 Mahalanobis distance (rightside)임.