Entropy

[Math] Entropy 란 (평균정보량, 정보량의 기댓값)

Entropy란? Random variable에서 기대되는 정보량 (or 정보량의 기댓값, 평균 정보량). 해당 random variable을 encoding하는데 필요한 평균정보량(단위 bit)의 lower bound. 정의식은 다음과 같음. $$H(X)=H(p)=-\sum_{i=0}^n p(x_i)\ln{p(x_i)}$$ where $p$ : random variable $X$의 probability distribution $n$ : random variable $X$가 가질 수 있는 값의 종류. $p(x_i)$ : random variable $X$가 $x_i$라는 값을 가질 확률. Entropy는 일종의 Transcendental function임. 아예 정보량에 대한 개념이 없는 경우 아래에 있..