信息论复习纲要

2026/05/26 18:05:00·2026/05/28 14:30:00

复习全图

信息论全貌地图

信息流动的完整链路

从信源到信宿，信息论研究的是这条链路上的极限与最优编码方式。

flowchart LR
    A["🔵 信源 X\n（信息产生）"] -->|"压缩"| B["📦 信源编码\n（去掉冗余）"]
    B -->|"bit 流"| C["📡 信道编码\n（加入冗余）"]
    C -->|"传输"| D["🛤️ 信道\n（噪声干扰）"]
    D -->|"接收"| E["📖 译码\n（纠错还原）"]
    E -->|"重建"| F["🟢 信宿 X̂\n（信息交付）"]

    style A fill:#2980b9,color:#fff,stroke:#1a5276
    style B fill:#27ae60,color:#fff,stroke:#196f3d
    style C fill:#8e44ad,color:#fff,stroke:#6c3483
    style D fill:#e67e22,color:#fff,stroke:#a04000
    style E fill:#c0392b,color:#fff,stroke:#922b21
    style F fill:#1abc9c,color:#fff,stroke:#17a589

压缩（去冗余） → 信道编码（加冗余抗噪） → 译码（纠错）
每一步都对应一条信息论核心定理：信源编码定理 / 信道编码定理 / 率失真定理

章节速查

各章复习要点

Ch2 熵与互信息

核心概念

自信息

I(x) = -\log P(x)

· 熵

$H(X)$

· 联合熵

$H(X,Y)$

· 条件熵

$H(X|Y)$

· KL散度

D(p\|q)

· 互信息

$I(X;Y)$

关键公式

H(X) = -\sum p\log p

$I(X;Y) = H(X)-H(X|Y)$

D(p\|q) = \sum p\log(p/q)

考试重点

计算联合分布下的 H/I KL 非负性证明 Fano 不等式应用

Ch3 渐近等分性质（AEP）

核心概念

典型序列 · 典型集

A_\epsilon^{(n)}

· 典型集三大性质（概率、计数、交并）

关键公式

-\frac1n\log p(X^n) \xrightarrow{P} H(X)

|A_\epsilon^{(n)}| \approx 2^{nH(X)}

考试重点

典型集计数 AEP 用于压缩证明联合 AEP

Ch4 熵率与随机过程

核心概念

平稳过程 · 马尔可夫链 · 平稳分布 · 熵率

\mathcal{H}

关键公式

\mathcal{H} = \lim \frac1n H(X_1,\ldots,X_n)

马尔可夫链：

\mathcal{H}=H(X_2|X_1)

考试重点

马尔可夫链熵率平稳分布计算最大熵分布

Ch5-6 数据压缩

核心概念

Kraft 不等式 · 信源编码定理 · Huffman 编码 · Shannon-Fano-Elias 编码 · 算术编码

关键公式

H(X) \leq L < H(X)+1

\sum D^{-l_i} \leq 1

（Kraft）

考试重点

Huffman 树构造 Kraft 不等式验证最优码长下界证明

Ch7 信道容量

核心概念

DMC · 信道容量

$C$

· 对称信道 · 联合典型译码 · 信道编码定理 · 反馈信道

关键公式

C = \max_{p(x)} I(X;Y)

BSC:

$C = 1-H_2(p)$

R < C \Rightarrow P_e \to 0

考试重点

对称信道容量计算信道编码定理证明思路随机编码 + 联合译码

Ch8 微分熵

核心概念

微分熵定义 · 连续最大熵 · 连续 AEP · 高斯分布微分熵

关键公式

h(X) = -\int f\log f

h(\mathcal{N}) = \frac12\log(2\pi e\sigma^2)

考试重点

微分熵 vs 离散熵正态分布最大熵离散化求和近似

Ch9 高斯信道

核心概念

AWGN 容量 · 注水算法 · 平行信道分解 · 彩色噪声 · 带宽无限极限

关键公式

C = \frac12\log(1+P/N)

（香农公式）

P_i = (\nu - N_i)^+

（注水）

考试重点

香农公式计算注水功率分配带宽与 SNR 关系

Ch10 率失真理论

核心概念

率失真函数

$R(D)$

· 失真度量 · 率失真定理 · 反注水法

关键公式

R(D) = \min_{p:\;E[d]\leq D} I(X;\hat X)

二元:

$R(D) = H(p)-H(D)$

考试重点

率失真函数计算反注水法 BLBQ 问题

末章信息论与安全

核心概念

窃听信道 · 保密容量

$C_s$

· 完善保密性 · 唯一解距离 · One-Time Pad

关键公式

$C_s = [I(X;Y)-I(X;Z)]^+$

n_0 \approx H(K)/(r\log|\mathcal{X}|)

考试重点

保密容量推导 OTP 安全性分析弱完善保密性

定理速记

三大定理对比

信息论三大核心定理

三大定理构成信息论的基石，分别对应信源压缩、信道传输、有损压缩三大场景：

定理	场景	条件	结论	证明核心
信源编码定理	无损压缩	任意离散信源	存在码长 $$L$$ 使 $H(X) \leq L < H(X)+1$	AEP：典型集大小 $\approx 2^{nH(X)}$
信道编码定理	可靠传输	$$R < C$$ （率低于容量）	存在编码使误码率 $P_e \to 0$	随机编码 + 联合典型译码 + 联合界
率失真定理	有损压缩	$$R > R(D)$$ （率高于率失真函数）	存在编码使 $E[d] \leq D$	失真典型序列 + 随机编码 + 联合界

记忆技巧

三大定理的共同结构：假设（条件）→ 存在性（能编码）→ 极限（最优）。
所有逆定理都用 Fano 不等式 或 数据处理不等式 完成。

工具清单

必备数学工具

以下四个不等式/引理是整个信息论证明体系的核心，必须熟练掌握。

Jensen 不等式

凸函数

$f$

满足

f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)]

。对数是凹函数，反向使用。

-\log \sum_i \lambda_i x_i \leq \sum_i \lambda_i(-\log x_i)

Kraft 不等式

\sum D^{-l_i} \leq 1

是

$D$

元前缀码存在的充要条件。用于证明 Huffman 最优性。

\sum_{i=1}^K D^{-l_i} \leq 1

（Kraft）

Fano 不等式

联系条件熵与错误率：用于证明信道编码定理的逆（充分性）。

H(P_e) + P_e\log(|\mathcal{X}|-1) \geq H(X|Y)

数据处理不等式（DPI）

马尔可夫链

X \to Y \to Z

下：后处理不增加信息。

I(X;Z) \leq I(X;Y)

（DPI）

互信息恒等式（贯穿全课程的基础工具）：

$$I(X;Y) = H(X)-H(X|Y) = H(Y)-H(Y|X) = H(X)+H(Y)-H(X,Y)$$

$I(X;Y) = D(p(x,y) \| p(x)p(y))$

参考来源

中国科学技术大学刘斌 — 信息论B 课程主页（课件与复习材料）
Cover & Thomas, Elements of Information Theory, 2nd Ed., Wiley, 2006.
PDFCh2 课件p.5
正在渲染 PDF 第 5 页…
Ch2 课件（PDF 第 5 页） · 打开原文
·
PDFCh3 课件p.1
正在渲染 PDF 第 1 页…
Ch3 课件（PDF 第 1 页） · 打开原文
·
PDFCh4 课件p.1
正在渲染 PDF 第 1 页…
Ch4 课件（PDF 第 1 页） · 打开原文
·
PDFCh5-6 课件p.1
正在渲染 PDF 第 1 页…
Ch5-6 课件（PDF 第 1 页） · 打开原文
·
PDFCh7 课件p.1
正在渲染 PDF 第 1 页…
Ch7 课件（PDF 第 1 页） · 打开原文
·
PDFCh8 课件p.1
正在渲染 PDF 第 1 页…
Ch8 课件（PDF 第 1 页） · 打开原文
·
PDFCh9 课件p.1
正在渲染 PDF 第 1 页…
Ch9 课件（PDF 第 1 页） · 打开原文
·
PDFCh10 课件p.1
正在渲染 PDF 第 1 页…
Ch10 课件（PDF 第 1 页） · 打开原文