Entropy란?Random variable에서 기대되는 정보량 (or 정보량의 기댓값, 평균 정보량).해당 random variable을 encoding하는데 필요한 평균정보량(단위 bit)의 lower bound.Claude Shannon 이 1948년 증명한 Noiseless Coding Theorem의 핵심개념.2025.03.08 - [Computer] - [Etc] A Mathematical Theory of Communication - Claude Shannon [Etc] A Mathematical Theory of Communication - Claude ShannonA Mathematical Theory of Communication 은 Claude Shannon이 1948년에 발표한 유명..