2022.05.12 - [.../Math] - [Math] Entropy 란 (평균정보량, 정보량의 기댓값)
[Math] Entropy 란 (평균정보량, 정보량의 기댓값)
Entropy란? Random variable에서 기대되는 정보량 (or 정보량의 기댓값, 평균 정보량). 해당 random variable을 encoding하는데 필요한 평균정보량(단위 bit)의 lower bound. 정의식은 다음과 같음. $$H(X)=H(p)=-\sum_{i=0}
dsaint31.tistory.com
2022.05.12 - [.../Math] - [Math] Kullback-Leibler Divergence
[Math] Kullback-Leibler Divergence
어떤 random variable $x$ (확률변수 $x$)에 대해 원래의 Probability Distribution $p(x)$와 Predicted Probability Distribution $q(x)$ (or Approximated Probability Distribution)가 있을 때, 각 경우의 entropy에 대한 difference가 바로 KL
dsaint31.tistory.com
2022.05.12 - [.../Math] - [Math] Cross Entropy
[Math] Cross Entropy
Cross Entropy란두 probability distribution $p$, $q$ 사이의 dissimilarity(차이)를 정량화하는 지표 로 사용됨.엄밀하게는 dissimilarity는 KL-Divergence로 구해야 하나, Cross entropy로 해도 큰 문제없기 때문임.다음 참
dsaint31.tistory.com
http://colah.github.io/posts/2015-09-Visual-Information/
Visual Information Theory -- colah's blog
Posted on October 14, 2015 <!-- by colah --> I love the feeling of having a new way to think about the world. I especially love when there’s some vague idea that gets formalized into a concrete concept. Information theory is a prime example of this. Info
colah.github.io
'Programming' 카테고리의 다른 글
| Paradigm (패러다임) (0) | 2022.07.21 |
|---|---|
| [Python] 현재 사용 중인 Python 및 패키지의 실제 경로 확인하기. (2) | 2022.07.18 |
| [Error: Tensorboard] ImportError: cannot import name 'Mapping' from 'collections' (1) | 2022.05.18 |
| [Conda] miniconda의 기본 채널 변경 : conda-forge (3) | 2022.04.05 |
| sh파일(non-interactive shell script)에서 conda 가상환경 activation! (2) | 2021.12.05 |