信息论
中科大 · 信息论B · Cover & Thomas
信息的度量、压缩、传输与安全
课程说明
信息论：通信的数学基础
1948 年，Claude Shannon 发表 A Mathematical Theory of Communication，奠定了信息论的数学基础。本课程基于 Cover & Thomas《信息论基础》第2版，围绕一个核心问题展开：在不可靠的信道上，我们能可靠地传输多少信息？
Shannon 将通信抽象为五个组件：信源、编码器、信道、解码器、信宿。三大支柱定理——信源编码定理、信道编码定理、率失真定理——分别回答了压缩、传输和保真度三个层面的基本问题。
教材：Cover & Thomas Elements of Information Theory 2nd Ed.
前置知识
- 概率论：联合/条件分布、贝叶斯定理、期望
- 随机变量：离散/连续分布、概率密度函数
- 对数与凸函数：$\log_2$、Jensen 不等式
章节导航
排序：
文章关系图
11 篇文章 · 16 条连接
三大编码定理速查
| 定理 | 条件 | 结论 |
|---|---|---|
| 信源编码定理（第5章） | 无损压缩 | $H(X) \leq L < H(X)+1$ |
| 信道编码定理（第7章） | $R < C$ | 存在编码使 $P_e \to 0$ |
| 率失真定理（第10章） | $R > R(D)$ | 存在编码使 $E[d] \leq D$ |
参考来源
- 课程材料：中国科学技术大学 刘斌《信息论B》课程、复习纲要
- 教材：Cover, T. M. & Thomas, J. A. Elements of Information Theory
- 中科大 刘斌 — 信息论B 课程主页