Hyperprior 之后

端到端学习式图像压缩的标准框架（Ballé 2016/2017）由四步组成：分析变换 g_a 将图像编码为潜在表示 y，量化器将 y 离散化为 ŷ，熵编码器将 ŷ 压缩为比特流，合成变换 g_s 将 ŷ 解码为重建图像 x̂。

训练目标是最小化 Rate-Distortion 损失 \(L = R + \lambda D\)。其中 \(D\)（失真）由分析/合成变换网络决定，而 \(R\)（比特率）由熵模型决定。具体地，\(R = -\log_2 p(\hat{y})\)，即比特率等于潜在表示在熵模型下的负对数似然。

这里有一个容易被忽略的细节：熵模型并不直接改变重建图像，它改变的是算术编码器给每个 latent 符号分配的码长。如果概率估计偏低，符号会被分配更长的码字；如果概率估计贴近真实分布，平均码长接近 Shannon 下界。因此，熵模型的改进通常表现为 BD-Rate 下降，而非单张图视觉效果的显著变化。

问题在于：量化后的潜在表示 ŷ 的元素之间并非独立。相邻空间位置存在强相关性，不同通道之间也存在统计依赖。如何建模这些依赖，是熵模型演化的核心线索。

Phase 1: Factorized Prior（Ballé 2017）

最简单的假设：ŷ 的各元素独立同分布。每个元素用一个非参数概率分布（由卷积网络预测）建模。这是一个粗略但高效的起点——完全并行，解码速度极快。

代价显而易见：latent 元素之间的空间相关性被完全忽略，导致熵估计偏高，比特率浪费严重。

Phase 2: Scale Hyperprior（Ballé 2018, ICLR）★★★

Ballé et al. Scale Hyperprior 架构。超先验网络 h_a/h_s 传递额外的边信息 z，用于预测每个潜在元素的高斯尺度参数 σ

Ballé 的核心创新：引入第二层 VAE，也就是超先验（Hyperprior）。在分析变换 \(g_a\) 之后，再接一个超分析变换 \(h_a\)，将潜在表示 \(y\) 压缩为超先验 \(z\)。\(z\) 作为边信息单独编码传输。

在解码端，超合成变换 \(h_s\) 从 \(z\) 预测每个潜在元素的高斯分布参数（\(\sigma\)），从而将 \(p(y_i)\) 从固定先验提升为条件先验 \(p(y_i \mid z)\)。

这一架构引出了一个极其优雅的层次化概率模型：超先验 \(z\) 捕获全局的、粗粒度的空间依赖，例如“这片区域纹理丰富，那片区域平坦”，而主 latent \(y\) 在给定 \(z\) 的条件下近似独立。

Minnen et al. Joint AR + Hyperprior 架构。在超先验基础上加入空间自回归上下文模型

Minnen et al.（NeurIPS 2018）的洞察：超先验捕获全局依赖，但局部依赖仍然被忽略。解决方案：在超先验基础上加入空间自回归（Autoregressive）上下文。

概率模型从 \(p(y_i \mid z)\) 提升为 \(p(y_i \mid y_{。每个元素的概率不仅依赖超先验 \(z\)，还依赖所有已解码的先前元素。

同时，将单高斯似然替换为离散化高斯混合模型（GMM），进一步提高了概率估计的灵活性。GMM 的意义在于允许 latent 分布呈现多峰结构，而不是强行用一个均值和尺度解释所有局部模式。

Phase 4: Channel-Conditional AR（Cheng 2020）★★

核心洞察：latent 的通道间相关性远强于空间相关性。将 AR 从像素级改为通道级——先解码前面的通道组，再用于预测后面的通道组。

通道数（通常 192 或 320）远小于 H×W，因此解码步数从 H×W 降低到 C。速度大幅提升，RD 性能损失极小。

Phase 5: Checkerboard Context Model（He 2021, CVPR）★★

更激进的洞察：空间上下文不一定需要严格的光栅扫描顺序。将空间位置分为"棋盘格"两组——先解码所有"黑格"，再并行解码所有"白格"。

两组之间只需两步（而非 H×W 步），解码速度提升数倍。RD 性能接近完整 AR，是压缩实用化的关键技术。

Phase 6: ELIC — Uneven Grouped Space-Channel Context（He 2022, CVPR）★★

ELIC Channel-Conditioned Entropy Model。latent 被拆成多个通道组，上游通道组作为下游通道组的条件上下文，不同组承担不同信息密度

将通道分组与空间上下文结合，利用 latent 中能量聚集的特性——前面的通道包含更多信息，后面的通道信息较少。不均匀分组策略：前面通道组少但包含更多上下文，后面通道组多但依赖更少。

在 VVC 4:4:4 配置下 BD-Rate 降低 7.88%。ELIC 的本质是承认 latent 通道并不等价：高能量通道应被更细致地建模，低能量通道可以更粗略地并行处理。

Phase 7: Transformer Entropy Model（2022）

Entroformer（2022）和 Contextformer（ECCV 2022）将多头注意力机制引入熵建模。核心思想：注意力天然可以捕获任意距离的依赖，不受 AR 扫描顺序的限制。

Contextformer 将标准多头注意力推广为空间-通道联合注意力，同时建模两种依赖。

Phase 8: TCM — Transformer-CNN Mixture（2023, CVPR）

混合架构：CNN 处理局部特征（高效），Transformer 捕获全局依赖（精准）。这种设计平衡了局部建模与全局注意力。

从写作线索上看，Transformer 进入熵模型并不是为了替代所有卷积，而是为了解决卷积上下文模型的感受野上限。局部 CNN 能快速捕获边缘、纹理、重复块；全局注意力则补足远距离结构依赖，例如天空大面积平滑区域、建筑立面重复纹理、前景物体与背景之间的统计关系。

MambaIC (CVPR 2025)：状态空间模型实现线性复杂度的全局依赖建模

Phase 9: MambaIC / CMIC（2025, CVPR）★★★

2024–2025 年最活跃的新兴方向。状态空间模型（SSM）提供了线性复杂度的全局感受野，理论上兼具 CNN 的高效和 Transformer 的全局建模能力。

MambaIC 相比 CNN-Transformer 混合架构降低了 63.9% 的计算量，同时 RD 性能有所提升。CMIC 进一步引入内容感知机制，根据图像局部复杂度自适应调整建模粒度。

SSM 路线的关键不是“更换一个 backbone”这么简单，而是给熵模型提供一种新的序列化方式：把二维 latent 展平成若干扫描序列，通过选择性状态更新捕获长程依赖。它避免了注意力矩阵的二次复杂度，又保留了跨区域信息传递能力。

Phase 10: Dictionary-based Entropy Model（2025, CVPR）

全新思路：通过可学习字典（codebook）从训练集提取典型结构，辅助熵模型预测。不再依赖参数化的概率分布假设，而是用数据驱动的方式直接从数据中学习先验知识。

字典式熵模型可以理解为“把常见 latent 模式显式存起来”。当局部 latent 与某些字典原型接近时，模型可以借助原型给出更尖锐的概率分布。这条路线与传统 GMM 不同：GMM 假设概率分布的形状，字典方法更接近检索式先验或记忆增强模型。

Phase 11: HPCM — Hierarchical Progressive Context Modeling（2025, ICCV）★★★

以多尺度编码顺序（1/4 → 1/2 → 1×）高效建模长程依赖。分层渐进式上下文：不同层级的 latent 使用不同粒度的上下文。

HPCM-1B 将模型扩展到 10 亿参数，发现了压缩领域的 Scaling Law：测试损失与模型规模/训练计算之间存在可预测的幂律关系。这是压缩领域首次验证 Scaling Law 的存在。

更准确地说，HPCM-1B 不是单纯“模型更大”，而是把 learned image compression 从小模型架构搜索推进到 scaling-law 实验范式。它说明 entropy/context model 的容量可能仍是 RD 性能瓶颈。

这对研究策略的影响很直接：过去的论文常以模块创新为主，例如换一个 context model、换一个 prior、换一种分组顺序；Scaling Law 视角则要求我们同时报告模型规模、训练计算、数据规模和测试损失之间的关系。压缩模型开始接近基础模型研究范式。