Cross entropy

[ML] Entropy, KL-Divergence, and Cross-entropy

2022.05.12 - [.../Math] - [Math] Entropy 란 (평균정보량, 정보량의 기댓값) [Math] Entropy 란 (평균정보량, 정보량의 기댓값)Entropy란? Random variable에서 기대되는 정보량 (or 정보량의 기댓값, 평균 정보량). 해당 random variable을 encoding하는데 필요한 평균정보량(단위 bit)의 lower bound. 정의식은 다음과 같음. $$H(X)=H(p)=-\sum_{i=0}dsaint31.tistory.com 2022.05.12 - [.../Math] - [Math] Kullback-Leibler Divergence [Math] Kullback-Leibler Divergence어떤 random variable $x$ (확률변..

[Math] Cross Entropy

Cross Entropy란두 probability distribution $p$, $q$ 사이의 dissimilarity(차이)를 정량화하는 지표 로 사용됨.엄밀하게는 dissimilarity는 KL-Divergence로 구해야 하나, Cross entropy로 해도 큰 문제없기 때문임.다음 참조 : 2022.05.12 - [.../Math] - Kullback-Leibler Divergence정의식은 다음과 같음.$$H(p,q)=-\sum^N_{i=1}p(x_i)\log{q(x_i)}$$where$p$ : original probability distribution (or ideal probability distribution). 우리가 예측하거나 맞추고자 하는 대상 (label).$q$ : 우리가 학..