Processing math: 100%
[ML] Entropy, KL-Divergence, and Cross-entropy
·
Programming
2022.05.12 - [.../Math] - [Math] Entropy 란 (평균정보량, 정보량의 기댓값) [Math] Entropy 란 (평균정보량, 정보량의 기댓값)Entropy란? Random variable에서 기대되는 정보량 (or 정보량의 기댓값, 평균 정보량). 해당 random variable을 encoding하는데 필요한 평균정보량(단위 bit)의 lower bound. 정의식은 다음과 같음. $$H(X)=H(p)=-\sum_{i=0}dsaint31.tistory.com 2022.05.12 - [.../Math] - [Math] Kullback-Leibler Divergence [Math] Kullback-Leibler Divergence어떤 random variable x (확률변..
[Math] Cross Entropy
·
.../Math
Cross Entropy란두 probability distribution p, q 사이의 dissimilarity(차이)를 정량화하는 지표 로 사용됨.엄밀하게는 dissimilarity는 KL-Divergence로 구해야 하나, Cross entropy로 해도 큰 문제없기 때문임.다음 참조 : 2022.05.12 - [.../Math] - Kullback-Leibler Divergence정의식은 다음과 같음.H(p,q)=Ni=1p(xi)logq(xi)wherep : original probability distribution (or ideal probability distribution). 우리가 예측하거나 맞추고자 하는 대상 (label).q : 우리가 학..