Cross entropy

[ML] Entropy, KL-Divergence, and Cross-entropy

2022.05.12 - [.../Math] - [Math] Entropy 란 (평균정보량, 정보량의 기댓값) [Math] Entropy 란 (평균정보량, 정보량의 기댓값) Entropy란? Random variable에서 기대되는 정보량 (or 정보량의 기댓값, 평균 정보량). 해당 random variable을 encoding하는데 필요한 평균정보량(단위 bit)의 lower bound. 정의식은 다음과 같음. $$H(x)=H(p)=-.. dsaint31.tistory.com 2022.05.12 - [.../Math] - [Math] Kullback-Leibler Divergence [Math] Kullback-Leibler Divergence 어떤 random variable $x$ (확률변수 $x$..

[Math] Cross Entropy

Cross Entropy란 두 probability distribution $p$, $q$ 사이의 dissimilarity(차이)를 정량화하는 지표 로 사용됨. 엄밀하게는 dissimilarity는 KL-Divergence로 구해야 하나, Cross entropy로 해도 큰 문제없기 때문임. 다음 참조 : 2022.05.12 - [.../Math] - Kullback-Leibler Divergence 정의식은 다음과 같음. $$H(p,q)=-\sum^N_{i=1}p(x_i)\log{q(x_i)}$$ where $p$ : original probability distribution (or ideal probability distribution). 우리가 예측하거나 맞추고자 하는 대상 (label). $q$..