高斯信道

离散无记忆信道告诉我们如何处理符号级传输，但真实通信系统里的载波、电压、采样值和热噪声都更像连续变量。于是一个核心问题出现了：

• 给定发射功率限制，连续噪声信道每次最多能传多少信息？
• 带宽有限时，容量为什么会变成每秒多少 bit？
• 多个频段噪声不一样时，功率该怎么分配才最优？

第八章已经给出工具：微分熵、互信息、高斯最大熵性质。第九章把这些工具真正用起来，推出通信史上最著名的公式之一：

它看上去像一个简单的对数式，背后却在回答一个很深的问题：噪声存在时，可靠通信能逼近的极限是多少。

最基本的高斯信道是离散时间加性白高斯噪声信道（AWGN, Additive White Gaussian Noise）：

"加性"表示噪声直接相加，"白"表示不同时间样本之间独立同分布，"高斯"表示噪声密度是正态分布。

graph LR
    X["X (发送信号)
均值 0, 方差 P"]
    -->|"Y = X + Z"| Y["Y (接收信号)"]
    Z["Z ~ N(0, N)
加性白高斯噪声"]
    -->|"独立叠加"| Y
    style X fill:#dbeafe,stroke:#2563eb,stroke-width:1.5px
    style Z fill:#fef3c7,stroke:#d97706,stroke-width:1.5px
    style Y fill:#dcfce7,stroke:#16a34a,stroke-width:1.5px
    

各个符号解释如下：

• $X_i$：第 $i$ 次发射的输入
• $Z_i$：独立高斯噪声，均值为 0，方差为 $N$
• $Y_i$：接收端输出

如果对输入没有任何限制，容量会发散到无穷，因为发射端可以把点拉得无限远，轻松区分。真实系统里必须加入平均功率约束：

这说明发射机的平均能量预算有限。第九章所有容量公式都建立在这个约束上。

对任意无记忆信道，容量都定义为

这里的逻辑非常直接：

1. $I(X;Y)$ 衡量输入里有多少信息真的穿过了信道
2. 输入分布 $p(x)$ 可以由系统设计者控制
3. 因此容量就是在约束下把互信息推到最大

对于 AWGN 信道，

而由于 $Y=X+Z$，给定 $X$ 后只剩噪声不确定性，因此

所以问题被化成：

既然 $h(Z)$ 已固定，那就只需让输出 $Y=X+Z$ 的微分熵尽可能大。

因为 $\mathbb E[X^2]\le P$，且 $Z\sim\mathcal N(0,N)$ 独立于 $X$，所以输出满足

第八章告诉我们：在固定方差下，微分熵由高斯分布取得最大值。因此

于是互信息满足

什么时候取等号？当且仅当输出 $Y$ 为高斯，而这可由

实现。因为高斯与高斯相加仍是高斯，此时 $Y\sim\mathcal N(0,P+N)$。

所以 AWGN 信道容量为

Shannon 容量曲线：信噪比与容量的关系

把信噪比写成 dB 形式 $SNR_{dB} = 10\log_{10}(P/N)$，容量曲线清晰展示了对数增长规律：

观察这条曲线：

• SNR 从 0 dB 升到 10 dB 时，容量从约 0.5 bit 跳到约 1.74 bit
• SNR 从 20 dB 升到 30 dB 时，容量从约 3.46 bit 只升到约 4.39 bit
• 继续堆功率的边际收益在快速下降，这正是现代通信更看重编码和带宽的原因

令信噪比 $\mathrm{SNR}=P/N$，容量变成

这条式子能读出三层直觉：

• 信号功率 $P$ 越大，容量越大
• 噪声功率 $N$ 越大，容量越小
• 增长规律是对数型，说明继续堆功率的收益递减

例如，当 $\mathrm{SNR}$ 很小的时候，$\log(1+\mathrm{SNR})\approx \mathrm{SNR}/\ln 2$，容量近似线性增长；当 $\mathrm{SNR}$ 很大时，容量只按 $\log \mathrm{SNR}$ 缓慢增长。

这解释了为什么现代通信系统一味加大发射功率并不经济，更有效的方向往往是编码、带宽扩展、多天线、频谱管理。

如果只允许发两种电平 $+\sqrt P$ 和 $-\sqrt P$，就相当于把连续输入强行量化成二元输入。接收端用阈值 0 判决：

• 若发送 $+\sqrt P$ 且 $Y>0$，判对
• 若发送 $+\sqrt P$ 但 $Y<0$，判错
• 发送 $-\sqrt P$ 同理

此时误码概率为

这里：

• $\Phi(\cdot)$：标准正态分布累计分布函数
• $Q(x)=1-\Phi(x)$：高斯尾概率

这等价于一个交叉概率为 $P_e$ 的 BSC。它说明：把连续信道硬切成离散信道是可以分析的，但会损失容量。真正达到 AWGN 容量需要高斯型码书，而不是简单二元调制。

和离散信道一样，高斯信道也有可达与不可达两部分：

• 若 $R<C$，存在码长充分大的编码方案，使平均误码概率趋于 0
• 若 $R>C$，任何编码方案都不可能把误差压到任意小

其可达性证明的骨架与 DMC 很像，只是把有限字母表典型集换成连续联合典型集：

1. 随机生成码书：码字元素 i.i.d. 服从 $\mathcal N(0,P)$
2. 发送对应码字
3. 接收端做联合典型译码
4. 分析"真码字不典型"与"假码字误入典型集"两类错误

逆定理则通常结合 Fano 不等式和互信息上界完成，核心结论是

连续时间白噪声信道中，如果信号被限制在带宽 $W$ Hz 内，采样定理告诉我们：长度为 $T$ 秒的信号大约可由 $2WT$ 个独立自由度表示。

若噪声双边功率谱密度为 $N_0/2$，总发射功率为 $P$，则每秒容量为

这就是工程上常说的 Shannon-Hartley 公式。

课件里给过电话线的典型数量级。假设：

• 带宽 $W=3300$ Hz
• 信噪比约为 $33$ dB，即线性尺度约 $10^{3.3}\approx 1995$

则容量约为

也就是约 $36$ kbps。这和拨号时代 $33.6$ kbps 调制解调器的极限非常接近。它说明香农公式不是宽泛趋势，而是真正能压住工程天花板的理论极限。

现实系统通常不是单个信道，而是多个并行子信道，比如 OFDM 的不同子载波。模型写成

总功率约束为

若第 $i$ 个子信道分配功率 $P_i$，则总容量为

问题变成：如何选 $P_i$ 才能让和最大？

用拉格朗日乘子法优化

对活跃子信道求导：

整理可得

其中 $(x)^+=\max(x,0)$，$\nu$ 是由总功率约束决定的"水位"。

graph TB
    subgraph "注水前：噪声剖面"
        N1["信道1
噪声方差 N₁（低）"]
        N2["信道2
噪声方差 N₂（中）"]
        N3["信道3
噪声方差 N₃（高）"]
    end

    subgraph "注水决策"
        WF["水位 ν"]
        DEC["Pᵢ = (ν - Nᵢ)⁺"]
    end

    subgraph "功率分配结果"
        R1["信道1: P₁ = ν-N₁ → 多"]
        R2["信道2: P₂ = ν-N₂ → 中"]
        R3["信道3: P₃ = 0 → 不激活"]
    end

    N1 -->|"噪声低 → 先灌"| WF
    N2 -->|"噪声中 → 后灌"| WF
    N3 -->|"噪声高 → 放弃"| WF
    WF --> DEC
    DEC --> R1
    DEC --> R2
    DEC --> R3
    style WF fill:#fef3c7,stroke:#d97706,stroke-width:1.5px
    style R1 fill:#dcfce7,stroke:#16a34a,stroke-width:1.5px
    style R2 fill:#e0f2fe,stroke:#2563eb,stroke-width:1.5px
    style R3 fill:#f3f4f6,stroke:#9ca3af,stroke-width:1px
    

这就是注水法：噪声低的信道像低洼容器，会先被灌入更多功率；噪声太高、容器底太高的子信道甚至一滴水都分不到。

注水法可视化

图中蓝色代表分配给信道 1 的功率（$P_1=5$），紫色代表信道 2 的功率（$P_2=2$），灰色区域信道 3 未被激活（$N_3$ 太高，超出水位）。橙色横线是水位 $\nu$，高于噪声底部的部分才是可分配的功率。

假设有两个并行子信道，噪声方差分别为 $N_1=1$、$N_2=4$，总功率 $P=5$。

若两路都激活，注水条件给出

所以

总容量为

可见较干净的第一路分得更多功率。若总功率再小一些，比如 $P=2$，则第二路可能完全不分配，因为它的"槽底"太高。

当噪声不再是白噪声，而是在时间或频率上相关时，就得到彩色高斯噪声信道。此时噪声协方差矩阵记为 $K_Z$，接收向量满足

其互信息可写成

其中 $K_X$、$K_Z$ 分别是输入和噪声协方差矩阵。

关键操作是对角化噪声协方差矩阵，把相关噪声变换到一组正交特征方向上。变换后，每个特征方向就像一个独立的并联高斯子信道，于是问题再次化成注水。

频域表述里，容量常写成对频率积分，功率谱密度按噪声谱密度做连续版注水。直觉不变：在噪声谱低的频段多投功率，在噪声谱高的频段少投甚至不投。

这是一个很容易被直觉误导的问题。反馈可以帮助发送端知道接收端过去看到了什么，于是似乎能"修正错误"。但容量层面要分情况：

• 无记忆 AWGN 信道：反馈不增加容量
• 有记忆高斯噪声信道：反馈可以改善有限长度性能，也可能改变某些有限块长容量表达

对无记忆 AWGN 而言，经典结论是

原因在于反馈并没有改变每次新噪声样本的统计性质，也没有创造新的自由度。它能做的是改进编码策略、误差指数、收敛速度，而不是提高最终可达的渐近速率上限。

对有记忆噪声过程，反馈可利用噪声相关结构，形式上会出现涉及协方差矩阵行列式的表达式。课件中的矩阵型公式本质上仍然在比较"带反馈时输出协方差能被如何塑形"。