A Mathematical Theory of Communication 은 Claude Shannon이 1948년에 발표한 유명한 논문의 제목임.
이 논문은 Bell System Technical Journal에 두 부분으로 나뉘어 출판되었음.
- Part I : 1948.7 - Volume 27, Issue3, pp. 379-423
- Part II: 1948.10 - Volume 27, Issue4, pp. 623-656
Entropy: Noiseless Coding Theorem
Shannon은 이 논문 내에서 Noiseless Coding Theorem(무잡음 부호화 정리)를 증명함.
- 이 Theorem은 Source Coding Theorem이라고도 불리며, 정보 이론의 가장 기본적인 정리 중 하나임.
- 이 정리는 확률 변수의 Entroy가 그 변수를 표현하는 데 필요한 평균 비트 수의 이론적 하한임을 보여줌.
2022.05.12 - [.../Math] - [Math] Entropy 란 (평균정보량, 정보량의 기댓값
[Math] Entropy 란 (평균정보량, 정보량의 기댓값)
Entropy란?Random variable에서 기대되는 정보량 (or 정보량의 기댓값, 평균 정보량).해당 random variable을 encoding하는데 필요한 평균정보량(단위 bit)의 lower bound. 정의식은 다음과 같음.$$H(X)=H(p)=-\sum_{i=0}^n
dsaint31.tistory.com
Sampling Theorem
또한 Sampling Theorem 에 대한 내용도 이 논문에서 다루어짐.
- 이 논문의 주요 초점은 아니었지만
- Sampling Theorem은 Nyquist의 1928년 "Certain Topics in Telegraph Transmission Theory"에서 시작되었고
- Shannon의 이 논문에 의해 정보이론의 주요 정리로 언급되었으며,
- 1949년 "Communication in the Presence of Noise" 논문을 통해 완전한 형태로 Shannon에 의해 제시됨.
2024.10.21 - [.../Signals and Systems] - [SS] Shannon-Nyquist Sampling Theorem
[SS] Shannon-Nyquist Sampling Theorem
신호의 최대 주파수보다 최소 2배 이상의 샘플링 주파수로 샘플링하면 원래 신호를 완벽하게 복원할 수 있다는 Theorem $$f_\text{sampling} \ge 2f_\text{max}$$where$f_\text{sampling}$ : sampling frequency. sampling rate
dsaint31.tistory.com
References
https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf
'Computer' 카테고리의 다른 글
| [DL] Keras를 위한 Scikit-Learn Wrapper : Scikeras (1) | 2023.11.13 |
|---|---|
| [ML] No Free Lunch Theorems (0) | 2023.09.06 |
| [ML] Time Series 란? (0) | 2023.09.01 |
| [Keras] 현재의 Learning Rate를 확인하는 Custom Callback (0) | 2023.08.30 |
| [DL] Hyperbolic Tangent Function (tanh) (0) | 2023.08.13 |