微分熵

前面几章讨论的熵 $H(X)$ 都建立在可数个取值上：概率质量函数 $p(x)$ 可以直接相加，典型集的大小也可以直接数个数。但现实里很多信号是连续的，比如热噪声、电压、电流、无线接收信号、传感器读数。对这类对象，问题立刻变成：

• 如果 $X$ 可以取任意实数，如何衡量它的"不确定性"？
• 如果取值空间无限细，为什么"一个样本需要多少比特"这件事变得微妙？
• 高斯噪声为什么会在容量问题里反复出现？

微分熵 $h(X)$ 就是在这个背景下引入的。它确实长得像离散熵，但含义并不完全相同：它更像"密度函数在连续空间中的平均对数尺度"，适合出现在比较、极值和极限定理里，尤其适合推导高斯信道与率失真理论。

设连续随机变量 $X$ 的概率密度函数为 $f_X(x)$，支撑集记为 $S=\{x:f_X(x)>0\}$。微分熵定义为

这里每个符号都要读清楚：

• $f_X(x)$：随机变量 $X$ 的概率密度函数
• $\log$：通常取底 2，则单位为 bit；取自然对数则单位为 nat
• $f_X(x)\log f_X(x)$：把"该点的密度大小"乘上"该点对数密度"后取负均值

它和离散熵的形式很像：

离散熵永远非负，但微分熵可以为负。最典型的例子是区间 $[0,a]$ 上的均匀分布：

代入定义：

于是：

• $a>1$ 时，$h(X)>0$
• $a=1$ 时，$h(X)=0$
• $0<a<1$ 时，$h(X)<0$

这说明微分熵在数值上反映的是"分布摊得有多开"。区间越窄，密度越高，$\log f(x)$ 越大，负号一加就可能得到负值。

因此微分熵更适合拿来做比较和极值问题，例如"在同样方差下谁的微分熵最大"，而不适合直接解释成"需要多少比特"。

这部分是理解微分熵最关键的分界线。连续变量要编码，必须先量化到有限精度 $\Delta$，记量化后的离散变量为 $X_\Delta$。

若把取值范围等分成宽度为 $\Delta$ 的区间，每个区间对应一个离散符号，则有

如果 $\Delta=2^{-n}$，那就是

这才把"微分熵"和"平均编码长度"重新接上：真正需要比特的是量化后的离散变量，而不是原始连续变量本身。

flowchart LR
    A["连续变量 X\nf_X(x)"] --> B["量化到精度 Δ\n离散化"]
    B --> C["离散变量 X_Δ\n概率质量函数 p"]
    C --> D["离散熵 H(X_Δ)\n可编码"]

    A -->|"h(X) = 微分熵
描述密度尺度"| E["H(X_Δ) ≈ h(X) + log(1/Δ)"]
    E --> D

    style A fill:#dbeafe,stroke:#2563eb
    style C fill:#fef3c7,stroke:#d97706
    style D fill:#d1fae5,stroke:#16a34a
    style E fill:#e0e7ff,stroke:#4f46e5
  

离散 AEP 告诉我们，长序列里大多数样本都集中在一个概率大约相同的典型集里。连续情形不能再说"每个典型序列的概率约为 $2^{-nh}$"，因为单个点的概率为 0；但可以说密度规模和典型集体积有规律。

若 $X_1,\dots,X_n$ 是 i.i.d. 连续随机变量，且微分熵存在，则

这里 $f_{X^n}(x^n)$ 是联合密度，$x^n=(x_1,\dots,x_n)$。由此定义连续典型集

它保留了离散典型集的三条核心精神：

对于联合密度 $f_{X,Y}(x,y)$，定义联合微分熵

条件微分熵定义为

推导链式法则时，只要用

取对数得到

再对联合密度取平均，就有

多元形式同样成立：

如果 $X_1,\dots,X_n$ 相互独立，则条件项退化为边缘熵，得到

连续情形里，单独看 $h(X)$ 会有坐标尺度依赖的问题，但相对熵和互信息仍然保留非常强的"信息量"含义。

两个密度函数 $f(x),g(x)$ 的相对熵定义为

两个连续随机变量的互信息定义为

利用定义可以改写成

这一步非常关键，因为后面高斯信道容量就是在最大化 $I(X;Y)$。即使 $h(X)$ 或 $h(Y)$ 可能是负的，互信息仍然满足：

当且仅当 $X$ 与 $Y$ 独立时，$I(X;Y)=0$。

这组性质经常直接拿来做容量推导：

为什么 $h(aX)=h(X)+\log|a|$ 成立？以一维缩放为例，若 $Y=aX$，则密度变换为

代回定义，变量替换 $y=ax$ 之后：

所以缩放会把微分熵整体平移一个对数项。这也是为什么微分熵依赖坐标单位：米和厘米之间会差一个常数 $\log 100$。

设 $X\sim\mathcal N(\mu,\sigma^2)$，密度为

取对数（用自然对数）：

于是

因为 $\mathbb E[(X-\mu)^2]=\sigma^2$，所以

若用底 2 对数，则写成

这是第八章最重要的结论，也是第九章高斯信道容量的引擎。

一个很干净的证明是拿任意分布 $f$ 和同均值同方差的高斯分布 $g$ 做相对熵：

flowchart TD
    A["任意分布 f(x)\n均值 μ, 方差 σ²"] --> B["相对熵 D(f‖g)\nD(f‖g) ≥ 0"]
    C["高斯分布 g(x)\n均值 μ, 方差 σ²"] --> B

    B --> C1["D(f‖g) = ∫f·log(f/g)dx"]
    C1 --> C2["展开 = -h(X) - ∫f·log g dx"]
    C2 --> C3["log g 只含 μ, σ²"]
    C3 --> C4["∫f·log g dx = -h(G)\n因为 f 和 g 有相同均值方差"]
    C4 --> C5["D(f‖g) = h(G) - h(X) ≥ 0"]
    C5 --> C6["⟹ h(X) ≤ h(G)"]
    C6 --> C7["⟹ h(X) ≤ (1/2)log(2πeσ²)"]

    style A fill:#dbeafe,stroke:#2563eb
    style C fill:#fef3c7,stroke:#d97706
    style B fill:#e0e7ff,stroke:#4f46e5
    style C7 fill:#d1fae5,stroke:#16a34a
  

直觉上，高斯分布在固定二阶能量约束下"铺得最散"，所以最难预测，不确定性最大。

若 $X\in\mathbb R^n$ 服从多元高斯分布 $\mathcal N(m,K)$，其中

• $m$：均值向量
• $K$：协方差矩阵
• $|K|$：矩阵 $K$ 的行列式

则其微分熵为

这个公式很值得记，因为：

1. 它直接把不确定性和协方差矩阵体积联系起来
2. 它会在彩色高斯噪声信道、反馈高斯信道里反复出现
3. $|K|$ 越大，说明等概率质量摊开的"椭球体积"越大，熵也越大

假设你只知道某个模拟噪声信号均值为 0、方差为 $\sigma^2$，但不知道它更具体的分布。如果要做"最坏情况下仍然安全"的系统设计，往往会把它当成高斯噪声。原因正是高斯在同方差下微分熵最大。

对接收机来说，噪声熵越大，代表它越"散"、越难预测、越难消除。在只固定功率而不固定分布形状时，拿高斯做噪声就是最保守建模。这条思路会直接导向第九章的容量公式：

因为在给定噪声方差和输入功率约束下，输出熵的极值最终都绕不开高斯最大熵性质。