KL divergence
728x90
[ML] Entropy, KL-Divergence, and Cross-entropy
2022.05.12 - [.../Math] - [Math] Entropy 란 (평균정보량, 정보량의 기댓값) [Math] Entropy 란 (평균정보량, 정보량의 기댓값)Entropy란? Random variable에서 기대되는 정보량 (or 정보량의 기댓값, 평균 정보량). 해당 random variable을 encoding하는데 필요한 평균정보량(단위 bit)의 lower bound. 정의식은 다음과 같음. $$H(X)=H(p)=-\sum_{i=0}dsaint31.tistory.com 2022.05.12 - [.../Math] - [Math] Kullback-Leibler Divergence [Math] Kullback-Leibler Divergence어떤 random variable $x$ (확률변..