THEval：八大指标重定义评测

如果你在做 talking head 生成，大概率用过这几个指标：FID 衡量图像质量，FVD 衡量视频质量，SyncNet 的 LSE-C/LSE-D 衡量唇音同步，LMD 衡量关键点精度。它们出现在几乎所有论文的 Table 1 里，看起来科学严谨。

但 THEval #Quignon-et-al.-2025 提出了一个尖锐的问题：这些指标与人类感知的相关性，在统计上全部不显著。

来自 Inria、上海 AI Lab 和 Darmstadt 的四位作者构建了一个 8 维评测框架，在 17 个模型、5,011 个视频、85,000 个生成视频的 benchmark 上验证：Final Score 与人类偏好的 Spearman \(\rho = 0.870\)（\(p < 0.0001\)），而最好的传统指标 FVD 仅 \(\rho = 0.289\)（\(p = 0.260\)），SyncNet LSE-C 甚至为负相关 \(\rho = -0.164\)。

本文深读这篇 CVPR 2026 Findings 论文，拆解每个指标的数学定义和设计直觉，分析 17 个模型的排名逻辑，以及这对卡通/风格化数字人评测意味着什么。

图 1：THEval 框架总览——三维度八指标评测体系。Quality 衡量视觉质量，Naturalness 衡量运动自然度，Synchronization 衡量唇音同步。Final Score 与人类偏好 Spearman ρ = 0.870，远超传统指标 #Quignon-et-al.-2025。

THEval 的核心实验设计很直接：让 17 个模型各自生成视频，收集人类偏好排名，然后算每个客观指标与人类排名的 Spearman 秩相关系数。结果令人震惊：

所有 6 个传统指标的 p 值均远大于 0.05，95% 置信区间全部包含 0。这意味着，在统计意义上，我们无法拒绝“这些指标与人类偏好无关”的零假设。

图 2：传统指标（FID/FVD/LSE-C/LSE-D/LMD）与 THEval 八指标及 Final Score 的 Spearman ρ 对比。传统指标全部不显著（p > 0.05），THEval 的 Mouth Quality（ρ=0.765）和 Head Motion Dynamics（ρ=0.763）最强 #Quignon-et-al.-2025。

2.1 SyncNet 的讽刺性悖论

最戏剧性的发现是 Wav2Lip #Prajwal-et-al.-2020——它以 SyncNet 作为判别器训练，因此获得了所有模型中最高的 LSE-C 分数（8.211），但在 User Study 中最不被人类选中。SyncNet 分数与人类偏好呈负相关（\(\rho = -0.164\)）。

这不仅是"相关性差"的问题，而是指标可以被直接 gaming 的问题。论文还在 Appendix B 中证明：仅改变音频编码格式（mp4a vs mpga）就能导致 LSE-D 差异高达 1.2，而人类完全无法察觉这种编码差异。

2.2 FID/FVD 的分布假设问题

FID 假设 Inception-v3 特征服从多元高斯分布，在有限样本上有偏；FVD 虽然使用了视频网络，但仍偏向单帧质量评估。两者的根本问题是：它们衡量"生成分布与真实分布的距离"，但 talking head 生成的目标是"在给定输入下生成自然视频"，不是"生成看起来像训练集的视频"。

2.3 LMD 的过度惩罚

LMD 直接逐帧对比关键点距离，对合理的表情和头部运动差异过度惩罚——生成的视频只要头部运动和 GT 不完全一致（这是正常的），就会被严厉扣分，而人类评估者可能觉得两种运动都自然。

THEval 的核心创新不是提出某个新指标，而是改变评估哲学：不比较"生成 vs GT 的逐帧距离"，而比较"生成视频的运动行为统计特征 vs GT 的运动行为统计特征"。这允许生成结果在具体内容上不同于 GT，只要统计特性匹配即可。

3.1 维度一：Quality（视觉质量）

(1) Global Aesthetics：对每帧用 TOPIQ 的 IAA（Image Aesthetic Assessment）打分，取均值。

直觉：给每一帧打一个"好看分"——评估构图、光照、色彩和谐度。\(\rho = 0.544\)（\(p = 0.020\)）。

(2) Mouth Quality：通过面部关键点定位嘴部区域，用 MUSIQ 做 IQA 评分。

直觉：专盯"嘴巴区域有没有糊掉"。这是 THEval 中与人类评分相关性最强的单指标：\(\rho = 0.765\)（\(p < 0.001\)）。原因显而易见——嘴部是 talking head 生成中最容易出问题的区域。

(3) Face Quality：全脸区域的 TOPIQ IQA 评分。\(\rho = 0.699\)（\(p = 0.001\)）。

3.2 维度二：Naturalness（自然度）

(4) Lip Dynamics：在 40 个唇部关键点之间两两计算欧氏距离，取时间维度的标准差均值。

直觉：嘴唇运动"丰不丰富"。变化越大（越丰富），分数越高。僵硬不动或变化极小说明模型缺乏表达力。\(\rho = 0.414\)（边缘显著）。

(5) Head Motion Dynamics：融合头部旋转幅度、旋转变化率和平移运动的综合指标。

直觉：自然说话的人会适度摇头晃脑。分数太低 = 僵尸，太高 = 抽搐。用乘法融合"转了多少"和"转得多快"，再加"移动了多少"。头部姿态由 FaceXFormer 估计。\(\rho = 0.763\)（\(p < 0.001\)），是第二强的单指标。

(6) Eyebrow Dynamics：归一化眉毛-眼睛垂直距离的时间标准差。

直觉：眉毛"跳不跳"。除以瞳孔间距消除尺度差异。\(\rho = 0.527\)（\(p = 0.025\)）。

3.3 维度三：Synchronization（同步性）

(7) Silent Lip Stability：用 Silero VAD 检测静音段（≥ 300ms），计算归一化嘴张开度的 MAD（中位绝对偏差）。

直觉：找到没说话的时间段，看嘴巴有没有"偷动"。MAD 越小 = 嘴巴越老实。选用 MAD 而非标准差是因为它对离群值更鲁棒。\(\rho = 0.484\)（\(p = 0.042\)）。

(8) Lip-Sync：对语音段的嘴张开度和音频 RMS 能量分别做 min-max 归一化，计算平均绝对差。

直觉：大声时嘴应该张大，小声时嘴应该微动。把"嘴张合曲线"和"音量曲线"都拉到 [0,1] 后逐帧对比。这与 SyncNet 的本质区别在于：不依赖预训练网络，直接用物理量比较。\(\rho = 0.404\)（边缘显著）。

3.4 Final Score：归一化 + 无加权平均

每个指标先相对 Ground Truth 归一化：

然后对 8 个归一化指标取无加权平均。论文明确拒绝加权聚合——虽然加权可以在当前测试集上提高相关性，但有过拟合到特定人类评估样本的风险。

Final Score 的 Spearman \(\rho = 0.870\)（\(p < 0.0001\)），95% CI [0.648, 0.967]。三个子维度聚合后 \(\rho\) 从 0.603~0.713 提升到 0.870，证明多维度互补的价值。

评测数据集包含 5,011 个视频，来自 31 个 YouTube 频道，覆盖 6 种语言（English 33.5%、French 17.8%、Chinese 14.6%、Spanish 14.3%、Japanese 12.9%、Italian 6.9%），总时长超过 18 小时。共产生约 85,000 个生成视频。

4.1 Final Score 排名

4.2 两大系统性发现

发现一：Audio-driven 模型的头部运动严重僵硬。8 个 Audio-driven 模型中，5 个 Head Motion Dynamics 低于 0.30（Dimitra 0.128、Real3dPortrait 0.090、Wav2Lip 0.112），而 Video-driven 模型的均值在 0.40 以上。这是因为 Audio-driven 模型从音频信号生成运动，而音频信号对头部姿态的约束远弱于对唇部运动的约束。

图 3：Top 模型在八维度上的雷达图对比。Video-driven 模型（LivePortrait、X-Portrait）在 Naturalness 维度全面领先，Audio-driven 模型在 Synchronization 上表现更好但 Naturalness 普遍薄弱 #Quignon-et-al.-2025。

发现二：Video-driven 整体优于 Audio-driven。Top 3 全部是 Video-driven（LivePortrait 0.935、X-Portrait 0.900、LIA-X 0.881），平均 Final Score 0.905 vs Audio-driven Top 3 的 0.825。Video-driven 直接复制驱动视频的运动，天然具有更丰富的动态。

4.3 User Study 设计

任务形式为成对比较：两个视频并排播放，评估者选"哪个更真实"。每人观看 153 个视频对，覆盖所有方法对 + 真实视频。位置和内容均随机化以消除偏差。评估者间一致性用 Krippendorff's \(\alpha = 0.74\)（substantial agreement）。统计显著性通过 Bootstrap（n=10,000 重采样）的 95% 置信区间验证。

THEval 虽然只在真实 talking head 上验证，但其设计思路对卡通/风格化数字人有三个重要启示：

1. Head Motion Dynamics 可直接迁移：基于 3DMM 的 pitch/yaw/roll 估计，卡通域可通过 ToonTalker 的共享运动空间获取。这个指标与人类评分的 \(\rho = 0.763\)，是最有可能在卡通场景保持有效的指标之一。
2. Silent Lip Stability 与风格无关：静音段嘴部稳定性只依赖 VAD + 关键点，不涉及视觉风格判断。
3. Quality 类指标需要卡通美学适配：TOPIQ 和 MUSIQ 在 ImageNet 上训练，对卡通美学的理解有限。需要构建卡通域 IQA 模型。

更深层的启示是：如果传统指标在真实场景就已经全面失效，那么它们在卡通场景的可靠性只会更差。THEval 的"行为统计特征匹配"哲学——评估运动的统计特性而非逐帧距离——为卡通评测提供了正确的方法论起点。

THEval 最大的贡献不是 8 个指标本身，而是用数据证明了一个社区早已隐约感觉到但从未被严格验证的事实：我们一直在用错误的指标评测 talking head。

三个核心启发：

1. 指标选择应有证据：不应该因为"别人都用 FID"就继续用 FID。每选一个指标，都应该有它与目标评估维度的相关性证据。
2. 多维度分解优于单一笼统分数：FID/FVD 给一个数字，你不知道模型"哪里好、哪里差"。THEval 的 8 维分解让你能精确定位"头部运动僵硬"或"嘴部区域模糊"。
3. 评测框架需要人类验证：没有 User Study 验证的评测框架只是"另一组可能失效的指标"。THEval 的 \(\rho = 0.870\) 不是理论保证，而是 85,000 个视频 + 人类偏好的实证结果。