Entropy란?Random variable에서 기대되는 정보량 (or 정보량의 기댓값, 평균 정보량).해당 random variable을 encoding하는데 필요한 평균정보량(단위 bit)의 lower bound. 정의식은 다음과 같음.$$H(X)=H(p)=-\sum_{i=0}^n p(x_i)\ln{p(x_i)}$$where$p$ : random variable $X$의 probability distribution$n$ : random variable $X$가 가질 수 있는 값의 종류.$p(x_i)$ : random variable $X$가 $x_i$라는 값을 가질 확률.Entropy는 일종의 Transcendental function임. 아예 정보량에 대한 개념이 없는 경우 아래에 있는 정보량과 e..