GFVC 综述

要理解 GFVC 为什么在这个时间点被重新激活，得先看清它要替代的两条旧路各自卡在哪里。

传统 hybrid codec：为通用视频而生，不为人脸优化

H.264/AVC #Wiegand et al., 2003、H.265/HEVC #Sullivan et al., 2012、H.266/VVC #Bross et al., 2021 走的是"预测 + 变换 + 熵编码"的 hybrid 路线，压缩对象是像素残差，优化目标是 pixel-level fidelity（PSNR/SSIM）。这套框架对通用自然视频极其成功，但综述在 §1 直指其软肋：它们"not designed with the particular statistical characteristics of face visual signal" #Chen B. et al., 2023。也就是说，人脸视频中真正占码率的其实是少量运动参数（嘴型、表情、头部姿态），而 hybrid codec 仍在逐块地编码像素残差，在超低码率区会过度平滑、丢细节。

早期 MBC：思路对了，合成太弱

另一条路是 MBC。综述 §2.1 把它的历史链梳理得很清楚：Pearson & Robinson 1985 #Pearson and Robinson, 1985 论极低数据率可视通信；Musmann 1989 提出对象导向的 analysis-synthesis 编码 #Musmann et al., 1989；Aizawa、Harashima、Saito 1989 的 MBASIC 系统用参数化 3D 人脸模型做超低码率人脸编码 #Aizawa et al., 1989；Hotter 1994 优化对象分析-合成 codec #Hotter, 1994；Aizawa & Huang 1995 在 Proc. IEEE 上做了 MBC 的 landmark survey #Aizawa and Huang, 1995；Lopez & Huang 1995 用 3D head model 做人脸专用压缩 #Lopez and Huang, 1995。

这些工作在"压缩什么"上和今天的 GFVC 几乎同源——都是 encoder 用 analysis model 把人脸压成语义参数、decoder 用 synthesis model 重建。它们的瓶颈不在"压不下去"，而在"synthesis model 太弱 → 重建质量 poor → 没法落地"。综述原话："limited by the inadequate synthesis technique at that time, the overall reconstruction quality was poor" #Chen B. et al., 2023。MPEG-4 part 2 把这套 MBC 写成了独立标准，但长期没部署起来。

深度生成模型补上最后一环

转机来自生成模型。VAE #Kingma and Welling, 2014、GAN #Goodfellow et al., 2014、Diffusion #Dhariwal and Nichol, 2021 让高质量人脸合成成为可能，尤其是 FOMM #Siarohin et al., 2019 这类 face reenactment / animation 模型——它们用一阶运动关键点把 driving video 的运动迁移到单张源图，正好补上了 MBC 缺失的"高质量 synthesis"那一环。于是 MBC 的 analysis-synthesis 范式在 AIGC 时代以 GFVC 之名复活，并在 2023 年被 JVET 重新推上标准化议程。

综述的方法论第一步是"抽象"：把 FOMM、DAC、Face_vid2vid、CFTE、IFVC 等 16 个具体算法塞进同一个编解码框架。这个抽象是后面 taxonomy 和评测协议的前提。

Encoder：key frame 走传统，inter frame 走生成

输入的人脸视频被分成两路。Key-reference frame 用传统 codec（HEVC/VVC）压成 I picture——因为它承担身份、外观、纹理信息，生成模型不擅长稳定保持这些，交给成熟的 VVC intra 编码更可靠。Inter frame 则走生成通道：用 analysis model 提取 compact facial symbols（具体形式见下方 taxonomy），经 context-adaptive arithmetic coder 进 bitstream。

图 1(a)：GFVC 通用框架。编码端 key-reference frame 走传统 VVC，inter frame 用 analysis model 提取 compact facial symbols 进 bitstream；解码端把 key-frame 与 facial information 联合送入 synthesis model 重建视频（来源：Chen et al., 2023, Fig.1）。

Decoder：synthesis model 把参数"合成"回人脸

解码端拿到两路 bitstream 后合并：先解码 key-reference frame（VVC I 帧解码），再解析 compact facial information（算术解码得到 facial symbols），最后把 (key-reference frame, facial information) 联合送入 synthesis model（深度生成网络）重建视频 #Chen B. et al., 2023。这里的 synthesis model 就是 FOMM / Face_vid2vid 这类深度动画生成网络。

用数学符号把这套路 form 化：设 key-reference frame 为 $I_{\mathrm{ref}}$，第 $t$ 个 inter 帧为 $I_t$，encoder 的 analysis model 为 $A(\cdot)$，decoder 的 synthesis model 为 $S(\cdot)$，则整条链路可写成：

其中 $z_t$ 就是 compact facial representation（keypoints / landmarks / semantics / compact feature 等，随方法而变）。注意 $z_t$ 的维度远小于 $I_t$ 的像素数——这正是"超低码率"的来源；而 $S$ 不做像素级反变换，而是用生成模型的强推理能力从 $(I_{\mathrm{ref}}, z_t)$ 合成人脸。这一步决定了 GFVC 不优化像素保真，所以后面的评测协议才弃用 PSNR/SSIM。

这个 hybrid 结构（一半传统、一半生成）是后面标准化为何走 SEI 路线的关键依据：facial parameters 本质上是附着在 VVC bitstream 上的补充信息，天然适合封进 SEI message，而不需要另起炉灶写一个新标准。整条 pipeline 的数据流如下：

flowchart LR
  A["face video {I_t}"] --> B{"分流"}
  B -->|"key/ref frames"| C["传统 VVC
I-picture 编码"]
  B -->|"inter frames"| D["analysis model A()"]
  D --> E["compact facial symbols z_t"]
  E --> F["context-adaptive
arithmetic coder"]
  C --> G["bitstream"]
  F --> G
  G --> H["arithmetic decoder"]
  H --> I["synthesis model S()"]
  C --> I
  I --> J["reconstructed {Î_t}"]

6 类 facial representation：taxonomy 的分类维度

综述的分类维度是单一的、显式定义的：facial representation，即 encoder 提取出来、传输、decoder 用来重建的中间表示形式。Figure 1(b) 给出 6 种 representation 的示意，Table 1 则把 16 个方法按此归类（其中 RDAC 引入第 7 个混合类"2D Keypoints + Residual Map"）。

图 1(b)：6 种 facial representation——2D landmarks、2D keypoints、3D keypoints、segmentation map、facial semantics、compact feature（来源：Chen et al., 2023, Fig.1）。

从分布看，2D Keypoints 类最多（7 个方法，FOMM 为基础），Compact Feature 与 Facial Semantics 各 3 个，2D Landmarks / 3D Keypoints / Segmentation Map 各 1 个。2022 年是爆发期（8 篇），2023 年出现 RDAC 这一"keypoint + residual"的混合类，暗示纯 keypoint 路线开始向像素级保真回退。综述在 §2.1 末句明确点出三条演进轴：更 compact 的 facial representation（降码率）、更 realistic 的重建（提感知质量）、可解释的 bitstream editing（扩应用）——IFVC 让 internal dimension 可被人交互（头平移、旋转、眨眼、嘴动），把"码流"从只读变成可编辑，正是第三条轴的体现。

既然是综述，最重的方法论价值之一是给一份可复用的统一评测协议，让 16 个异质算法（不同 representation、不同生成模型）在同一标尺下可比。§2.2 沿用的是 IFVC #Chen et al., 2023b 论文里的 common test conditions——这一点要记住，因为协议本身出自作者自家工作。

数据集与编码配置

测试数据集选 VoxCeleb #Nagrani et al., 2017 的 50 个 talking face 视频序列，每个 crop 成 10 秒（250 帧 @ 25fps），分辨率 256×256，色度格式 RGB 444。注意这里的 RGB 444 而非 YUV 420——主流视频 codec 评测常用 YUV420，这里改 RGB 444 是因为 GFVC 的生成模型在 RGB 域训练/推理，感知指标 DISTS/LPIPS 也在 RGB 域计算。这是一个为被测对象量身定做的选择，但也意味着与 VVC 的 YUV420 结果不能直接横比（综述未明确讨论这一限制）。

编码配置上，VVC 基线用 VTM 的 Low-Delay-Bidirectional (LDB) 配置（贴合视频会议场景），QP 设 45/47/50/52；GFVC 端的 key-reference picture 用 VTM 10.0 #JVET-S2002 编为 I picture，QP 设 37/42/47/52，inter 帧用 facial parameters 经 context-adaptive arithmetic coder 压缩。两套 QP 独立扫描，只在 47/52 重叠——这是混合 codec 评测的细节陷阱，也使得"外观质量"与"运动质量"的码率分配可分别刻画。

指标选择：为什么弃用 PSNR/SSIM

这是整套协议最关键的方法论判断。综述原话："Since GFVC methods do not optimize for pixel-level distortion fidelity, traditional measures like Peak Signal-to-Noise Ratio (PSNR) and Structural Similarity Index (SSIM) are not suitable to measure the quality of the reconstructed video." #Chen B. et al., 2023 因此改用两个 feature-domain 感知指标：DISTS（Deep Image Structure and Texture Similarity）#Ding et al., 2020 和 LPIPS（Learned Perceptual Image Patch Similarity）#Zhang et al., 2018。

逻辑链很清晰：GFVC 不优化像素保真（analysis-synthesis，生成模型重建）→ PSNR/SSIM 度量像素/结构误差、与人类感知错位 → 改用 feature-domain 感知指标。

评测配置披露表

这是综述方法论含量最高的一章——不是讲怎么压缩，而是讲怎么把一类生成式压缩方法标准化进现有标准体系。

为什么用 SEI 而非新标准

GFVC 的 hybrid 设计（key frame 走 VVC、inter 帧走 facial parameters）天然就是附着在 VVC bitstream 上的补充信息。而 SEI（Supplemental Enhancement Information）的定义正是"additional and supplemental data inserted into a coded video bitstream to enhance the use of transported video" #Chen B. et al., 2023。所以把 facial parameters 封进 GFV SEI message 让它伴随 VVC bitstream，是最低侵入、最快落地的标准化路径——不需要新标准，只需在 VVC SEI namespace 里加一类消息。

这与 MPEG-4 part 2 当年把 MBC 写成独立 part 形成对比：MBC 当时是独立标准，落地失败；GFVC 现在选 SEI 附加，是吸取了 MBC 的教训。

JVET 提案链：从首提到 common text

综述 §3 把标准化过程梳理成一条提案链，从 2023 年 1 月到 10 月跨 6 次 JVET 会议：

TranslatorNN() / GeneratorNN()：互操作性的接口设计

这是标准化方法学的核心创新，解决一个工程现实问题：现实里 GFVC 的 analysis model（encoder 侧）和 synthesis model（decoder 侧）往往不是一起训练的（FOMM 系都不是 end-to-end）。当 encoder 用算法 A 的 analysis model、decoder 用算法 B 的 synthesis model 时，facial parameters 的语义/维度/分布对不上，直接喂会重建崩掉。

解决方案是在 decoder 前插一个 TranslatorNN()（parameter translator 或 flow translator），把 encoder 侧的 parameter/flow"翻译"成 decoder 侧 synthesis model 能吃的格式；而 GeneratorNN() 就是那个 synthesis model 本身。综述借 Figure 2 说明了处理流程 #JVET-AF0234。

图 2(a)：GFV SEI for Face Generation 的处理顺序。TranslatorNN() 在 encoder/decoder matched 时可旁路，mismatched 时启用翻译保兼容（来源：JVET-AF0234, Fig.）。

图 2(b)：GFV SEI for Face Fusion 路径，GeneratorNN() 作为 synthesis model 把翻译后的 facial parameters 与 key-reference 合成重建视频（来源：JVET-AF0234, Fig.）。

关键设计：TranslatorNN() 在 encoder 与 decoder matched（端到端联合训练）时可旁路省算力，mismatched 时启用翻译保兼容。设重建质量为 $Q$，AF0048 的实验给出明确的两档对比：

即 mismatched 配合 translator 的质量虽略低于 matched，但仍可接受；若不启用 translator 则质量进一步下降（此为综述隐含的工程推断，非显式实验档位）#Chen B. et al., 2023。形式化地，TranslatorNN $T(\cdot)$ 把 encoder 侧参数翻译到 decoder 侧 synthesis model 的语义空间：当 matched 时 $z_t$ 与 $S$ 同源，$T$ 可为单位映射（旁路）；当 mismatched 时需 $T(z_t) \neq z_t$ 做分布/维度对齐，$\hat{I}_t = S(I_{\mathrm{ref}},\, T(z_t))$。

综述 §2.2 在 50 个 VoxCeleb 序列上对比了 VVC、FOMM、MRAA、Face_vid2vid、CFTE、IFVC 六条曲线，分别用 Rate-DISTS 和 Rate-LPIPS 呈现。

图 3(a)：Rate-DISTS 性能对比。所有生成式压缩方法显著优于 VVC，并能工作在传统 codec 难以触及的超低码率区（来源：Chen et al., 2023, Fig.4）。

图 3(b)：Rate-LPIPS 性能对比。IFVC（作者最新方法）在曲线上表现最优（来源：Chen et al., 2023, Fig.4）。

综述给出的结论是定性的：所有生成式压缩方法显著优于最新的 VVC codec，且它们能工作在传统 codec 难以到达的超低码率区 #Chen B. et al., 2023。其中 IFVC（作者团队最新工作）在 DISTS/LPIPS 曲线上表现最优。

综述 §4 列了 3 个应用（超低码率通信、用户动画滤镜、元宇宙）和 4 个挑战。3 个应用的核心卖点是：key-reference 帧间隔拉大、两 key 之间每时刻只传少量 facial parameters，相对全部用 VVC 编码能显著降码率，工作在传统 codec 难以触及的超低码率区——综述原话称之为 "significantly reducing the coded bit rate compared to coding all pictures using VVC" #Chen B. et al., 2023。

四大挑战

1. 重建质量不稳定。根因是深度生成模型能力限制 + GFVC 内在机制（texture 由 key-frame 提供、motion/posture 用 compact representation）。症状是背景区域出现 objectionable distortions、嘴/眼局部动作不准。综述给的对策建议很具体：大运动时更频繁发送 key-reference pictures #Chen B. et al., 2023——这是值得记下的设计 hint。

2. 解码器复杂度高。GFVC decoder 远重于 VVC decoder（要跑生成网络），与传统"encoder 重 decoder 轻"的广播假设相反——但对下行带宽紧张、终端算力充足的会议场景合理。已有缓解证据：Mob M-SPADE #Oquab et al., 2021 证明经仔细简化可在移动 CPU 上实时解码，未来寄望 NN 专用硬件加速。

3. 缺乏合适的感知评测。前文"指标悖论"已展开：PSNR/SSIM 不适用 GAN 重建，DISTS/LPIPS 又缺 facial prior，需要 #Li et al., 2023 这类 face-specific 度量。协议里也未评测时序一致性、identity 漂移、lip-sync——这些对 talking face 至关重要但逐帧算的 DISTS/LPIPS 捕捉不到。

4. 模型可解释性不足。GFVC 两端都是黑箱，传统 codec 几十年积累的"可分析失真来源"能力在这里缺失。理解模型内部"为何、如何"支持 GFVC 任务，才能像传统 codec 那样逐模块调优。

可带走的启发

从这条对比线能读出几个可操作启发：第一，压缩对象的迁移是范式级的——从信号→参数→compact representation，MBC 走到"参数"但 synthesis 太弱，GFVC 把参数细化成更 compact 的 representation 同时 synthesis 升级为深度网络，才让"超低 + 高质量"同时成立。第二，标准化形态的选择反映教训——MBC 当年做成独立标准落地失败，GFVC 吸取教训选 SEI 附加、互操作靠 TranslatorNN，落地风险更低。第三，GFVC 把复杂度从 encoder 挪到了 decoder，这对会议场景合理，对广播场景则未必。第四，作为窄域技术，GFVC 只对人脸视频有效，非人脸内容完全失效——不能替代通用 codec。

局限层面，TranslatorNN 是工程解不是理论解，mismatched 情况下质量"acceptable"但低于 matched，意味着 SEI 标准化后的实际部署质量上限低于学术 SOTA——这是标准化的代价，综述坦承但未给消除路径。可复现性上，综述提供的是地图而非施工图：框架/协议/标准化路线扎实自洽，但复现某个具体方法仍缺 facial representation 精确格式、arithmetic coder 上下文模型、网络权重、码率统计口径、translator 训练细节，需下沉到 Table 1 各原文献与 JVET 提案。