GVCC

GVCC 的技术核心是将确定性概率流常微分方程（Probability-Flow ODE）转换为等价随机微分方程（SDE），在不重训练模型的情况下引入可编码的信息通道。理解这个转换需要三个基础概念。

1.1 Rectified Flow（整流流）

Rectified Flow 是一种基于概率流 ODE 的生成模型范式，核心是学习从噪声样本 $x_1 \sim p_1$ 到数据样本 $x_0 \sim p_0$ 的直线路径：

采样时，通过反向概率流 ODE 从 $x_1$ 积分到 $x_0$：

这里的关键问题是：这个过程是纯确定性的。给定初始 latent $x_1$，轨迹唯一，没有每步随机通道可用于嵌入压缩信息——这正是代码簿驱动压缩方法所依赖的。

1.2 代码簿驱动压缩的 bit-budget 约束

参考 DDCM、Turbo-DDCM、NCS 等工作，代码簿驱动压缩的核心思路是：将每步高斯噪声替换为可复现的 M-原子代码簿 $\mathcal{C} = \{\phi_j\}_{j=1}^M$ 中的元素，仅传输紧凑索引。

设 SDE 每步的随机创新为 $r_k$，编码端在代码簿中搜索最优匹配原子：

传输的比特流即为每步原子索引 $\{i_k\}$。解码端用相同索引重建 SDE 轨迹。这要求每步创新必须可被 M-原子子空间表示，即：

当创新方差超过代码簿容量时，SDE 轨迹发散，质量崩溃。这解释了为何 $g_\text{scale}$ 存在极窄的稳定区间（2.0–3.0）。

1.3 ODE → SDE 等价变换

score-SDE 框架的核心洞察告诉我们：任何概率流 ODE 都存在一族反向时间的 SDE，与原 ODE 共享完全相同的连续时间边缘分布 $p_t$。

对于 Rectified Flow 的反向 ODE：

等价 SDE 为：

其中 $g_t \geq 0$ 是扩散系数，$\mathrm{d}w$ 是维纳过程。引入非零 $g_t$ 的意义在于：将随机性从初始 latent 重新分配到每步随机创新——即从"种子噪声决定一切"变为"每步创新携带信息"。

如图 2 所示，GVCC 的压缩流程分为三个阶段：3D VAE 编码 → 代码簿驱动 SDE 压缩 → 解码重建。三种条件策略（T2V / I2V / FLF2V）共享同一 SDE-代码簿骨干，仅在条件注入方式上有所不同。

2.1 三种条件策略

T2V（Text-to-Video）：无参考帧模式

码流仅包含代码簿原子索引，代表最低边信息（side-information）模式。没有空间锚点，生成完全依赖预训练视频模型的生成先验。适用于比特率极度受限、可以接受一定幻觉风险的场景。

I2V（Image-to-Video）：自回归图像到视频 + 尾 latent 修正

首帧通过学习型图像编解码器压缩传输，后续帧使用自回归 GOP 链式结构（类似 DCVC 的 temporal 传播）。尾部 latent 修正：每个 GOP 的最后一帧 latent 额外传输一个细粒度修正信号，缓解 AR 误差累积。

FLF2V（First-Last-Frame-to-Video）：首尾帧到视频

每个 GOP 的首帧和尾帧同时作为边界锚点压缩传输，中间帧通过代码簿驱动的 SDE 采样重建。首尾帧的双重锚定显著改善时序一致性，避免跨 GOP 的大幅 appearance drift。边界帧使用 CompressAI 压缩（质量 level 4）。

2.2 编码端算法流程

# GVCC 编码端伪代码（每步）
for k in range(T):
    # 1. 估计当前步的 score（从 velocity 推导）
    score = (x0_pred - x_t) / (g_scale^2 * (1 - t_k))

    # 2. 计算所需随机创新
    residual = target_latent - (x_t - Δt * (x0_pred - x_t) / (1 - t_k))
    innovation = residual / (g_scale * sqrt(Δt))

    # 3. 在代码簿中搜索最优原子
    z_star = argmin_{z ∈ C} || innovation - z||_2
    transmitted_index = codebook.index(z_star)

    # 4. 更新 latent 状态
    x_{t_{k+1}} = x_{t_k} - Δt * (x0_pred - x_t) / (1 - t_k) + g_scale * sqrt(Δt) * z_star
  

2.3 解码端算法流程

解码端使用共享 seed 和传输的索引序列，精确重建相同的 SDE 轨迹：

# GVCC 解码端伪代码（每步）
for k in range(T):
    # 1. 从索引获取代码簿原子
    z_star = codebook[transmitted_index[k]]

    # 2. 重放 SDE 更新步骤
    x_{t_{k+1}} = x_{t_k} - Δt * (x0_pred - x_t) / (1 - t_k) + g_scale * sqrt(Δt) * z_star

    # 3. VAE 解码重建视频帧
    video_frames = vae_decode(x_0)
  

3.1 感知质量对比（~0.005 bpp）

3.2 率失真覆盖范围

GVCC 在 UVG 480p 上覆盖了近两个数量级的比特率范围：

3.3 感知偏好研究（内部）

10 名视频处理研究熟悉人员参与的成对偏好研究中：

3.4 忠实性分析

在受控的 in-distribution 测试中，GVCC 展现了极高的忠实性：

ΔE < 1 表示色差不可感知。GOP 链式结构在三个 GOP 上不表现出累积退化，验证了 FLF2V 边界共享设计的稳健性。

3.5 默认超参数

4.1 原子数 M：质量饱和与线性码率

BPP 随 M 近似线性增长（M=16 → 0.0012 bpp，M=256 → 0.0192 bpp），但 PSNR 质量在 M > 128 后趋于饱和。M=64 是默认最优值——增加 M beyond 64 仅带来边际收益，同时增加码率。LPIPS 甚至出现轻微恶化（M=128 时 0.117，M=256 时 0.121），说明过多原子可能引入代码簿噪声。

4.2 代码簿大小 K：表达力与计算权衡

K 从 1024 → 16384 可获得 0.64 dB PSNR 增益（31.04 → 31.68 dB）和 0.019 LPIPS 改善（0.141 → 0.122），但编码时间翻倍（46s → 90s）。K=65536 额外增加 0.23 dB 的代价是 2.6× 计算开销（237s）。K=16384 是表达力和效率的最佳平衡点。

4.3 采样步数 T：存在最小值

T=5 时产生灾难性失败（PSNR 19.3 dB，LPIPS 0.576），T=15 建立了最小可用步数（T=10 → T=15 有巨大 LPIPS 跳变：0.514 → 0.211）。T=20 之后收益递减，T=30 仅增加 0.5 dB PSNR 但编码时间增加 50%。

4.4 扩散系数 $g_\text{scale}$：极窄的稳定区间

$g_\text{scale}$ 是最敏感的超参数，存在极窄的稳定区间（2.0–3.0）。当 $g_\text{scale} = 5.0$ 时 PSNR 骤降至 29.3 dB、LPIPS 飙升至 0.597，$g_\text{scale} = 8.0$ 时进一步恶化至 22.9 dB / 0.797。

这直接验证了 bit-budget 理论：增加 $g_\text{scale}$ 以二次方规模放大创新方差，一旦该方差超过 M=64 原子子空间的表示容量，代码簿匹配无法引导 SDE 轨迹，发散随即发生。

4.5 GOP 长度与时序建模

17 帧 GOP 过短，无法充分发挥视频模型的时序建模能力，导致明显的时间闪烁和 appearance drift（LPIPS 0.224 vs. 33 帧的 0.122）。33 帧和 49 帧性能相当，49 帧在 1080p 下因 VAE 4× 时序压缩效率更高而略微有利。

5.1 范式转变的意义

传统视频编解码器的设计哲学是"精确表示 + 有损压缩"：传输足够精确的像素或 latent 表示，解码器做确定性重建。生成式压缩的出现引入了"先验引导 + 采样重建"的思路。

但 DDPM 先前的生成式编解码器（GLVC、GNVC-VD、GVC）仍采用混合范式：编解码器定义压缩表示，生成模型仅作为精炼模块。GVCC 和 Free-GVC 代表了更彻底的方向——生成模型即编解码器。

5.2 GVCC vs. Free-GVC

同为无训练压缩方法，GVCC 和 Free-GVC 在压缩机制上有本质区别：

5.3 当前局限与适用边界

作为生成式编解码器，GVCC 在极低码率下可能产生逼真但失真的内容——论文明确指出不适合取证/证据用途。输入 OOD（分布外）内容时，VAE 和代码簿匹配同时退化，边界帧开销占比上升。

然而，在受控 in-distribution 场景下，FLF2V 的边界共享设计有效抑制了累积退化，色彩/文字等细节具有极高忠实性（ΔE ≈ 0.26），这为实际应用提供了可靠基础。