KL divergence

[ML] Entropy, KL-Divergence, and Cross-entropy

2022.05.12 - [.../Math] - [Math] Entropy 란 (평균정보량, 정보량의 기댓값) [Math] Entropy 란 (평균정보량, 정보량의 기댓값) Entropy란? Random variable에서 기대되는 정보량 (or 정보량의 기댓값, 평균 정보량). 해당 random variable을 encoding하는데 필요한 평균정보량(단위 bit)의 lower bound. 정의식은 다음과 같음. $$H(x)=H(p)=-.. dsaint31.tistory.com 2022.05.12 - [.../Math] - [Math] Kullback-Leibler Divergence [Math] Kullback-Leibler Divergence 어떤 random variable $x$ (확률변수 $x$..