评测指标、算力与产品选型

前面几篇已经把数字人的任务边界和技术路线拆开：换嘴、运动空间、3DGS/NeRF、扩散基模、整帧/全身生成和实时流式蒸馏。本文把评测方法论、数据集、训练资源、推理资源和产品选型放到同一张坐标系里。

本文回答以下问题：

• Part 1：五大评测指标（画质、时序、同步、身份、效率）到底怎么算、什么时候会骗人、用什么代码库复现？
• Part 2：六条路线的训练算力、推理资源和 benchmark 重点分别是什么？
• Part 3-6：每条路线的 loss、指标和数据集细节。
• Part 7：主流训练与评测数据集的规模、License、偏差和适用场景。
• Part 8：FlashHead / LAM / UIKA / LiteAvatar 四个类型完全不同的模型，怎么设计标准化对比协议？
• Part 9：指标陷阱与反模式清单。
• Part 10-11：如何设计自己的 benchmark？产品怎么选？PoC/MVP/规模化怎么落地？
• Appendix A：28 个模型的输入/输出规格汇总——训练时分阶段输入、推理时输入、最终输出。
• Appendix B：15 个数据集的数据组织格式（视频、音频、参考图、标注等）与磁盘规模。
• Appendix C：数字人脸真实度评测指标全景——FIQA、感知质量、deepfake 检测能否反向用作质量指标？

数字人的 evaluation 至少有五个维度：画质、时序、同步、身份、效率。FID、FVD 只能回答"生成分布像不像测试集"，不能单独回答嘴型准不准、身份稳不稳、首帧延迟能不能接受。本节对每个维度做三件事：解释计算原理（直觉，不是推导），列出失败模式（什么时候数字在骗你），给出可复现的代码库。#Heusel-et-al.-2017 #Unterthiner-et-al.-2018 #Chung-et-al.-2017 #Deng-et-al.-2019 #Zhang-et-al.-2018

1.1 图像质量：FID、PSNR、SSIM、LPIPS

FID（Frechet Inception Distance） 把生成图像和真实图像分别送入 Inception-v3，取 pool3 层 2048 维特征，假设两组特征都服从多元高斯分布，然后算两个分布之间的 Frechet 距离：

直觉上，FID 同时比较均值（"平均长什么样"）和协方差（"多样性如何"）。FID 越低，生成分布越接近真实分布。

PSNR / SSIM 是像素级和结构级的重建质量指标。PSNR 直接衡量像素误差的对数比，SSIM 同时考虑亮度、对比度和结构相似性。它们都需要 ground truth 对齐帧，因此只适用于 self-reenactment 或有 GT 的重建任务（LAM、UIKA 的论文主实验）。PSNR 的失败模式是对空间位移敏感：一张完美但偏移 1 像素的图像 PSNR 会很低。

LPIPS 用预训练 VGG/AlexNet 的特征空间计算感知距离，与人眼判断的相关性比 PSNR 更强。对生成模型来说，LPIPS 通常比 PSNR 更可靠。#Zhang-et-al.-2018

IQA（Image Quality Assessment） 是无参考图像质量评估的统称，代表方法包括 BRISQUE #Mittal-et-al.-2012（自然场景统计）、NIQE #Mittal-et-al.-2013（无需训练的盲评估）、MUSIQ #Ke-et-al.-2021（多尺度 Transformer）和 CLIP-IQA+ #Wang-et-al.-2023（CLIP 多模态）。它们不需要 ground truth，适合大规模筛选生成帧，但在 GAN/diffusion 生成的人脸上泛化差——训练数据是自然图像，对生成模型的系统性伪影（牙齿融合、耳朵变形）不敏感。

FaceIQA（Face Image Quality Assessment） 是 IQA 的人脸特化版本，代表方法包括 FaceQnet v2 #Hernandez-Ortega-et-al.-2020（清晰度+光照+遮挡综合打分）和 CR-FIQA #Boutros-et-al.-2022（ArcFace 识别置信度作为质量代理）。它们优化的是"这张脸能否被准确识别"，而非"这张脸看起来是否像真人"——对数字人真实度评测存在概念错位，但可快速筛除明显低质帧。详细讨论见 Appendix C。

1.2 视频时序：FVD、Dino-S

FVD（Frechet Video Distance） 是 FID 的视频版：用 I3D 在视频片段上抽取时空特征，再算 Frechet 距离。与 FID 的关键区别是 FVD 同时评估时间连续性——闪烁、跳帧和动作不连贯都会拉高 FVD。#Unterthiner-et-al.-2018

FVD 的最大陷阱是 clip length 敏感性。16 帧和 32 帧算出的 FVD 差异可以超过 50%，不同论文用不同 clip length 的结果不可直接比。

Dino-S 用 DINOv2 #Oquab-et-al.-2024 的自监督特征衡量相邻帧的语义一致性。它不需要 ground truth，适合评估长视频的时间稳定性。但 Dino-S 测的是特征稳定而非语义正确——一个静态画面也能得高分。

1.3 唇音同步：Sync-C / Sync-D / LSE-C / LSE-D

SyncNet 是唇音同步评测的核心工具。它用双流 CNN 分别处理嘴部 ROI 视频片段和音频梅尔频谱，输出两组 embedding 后算余弦相似度（Sync-C，越高越好）和欧氏距离（Sync-D，越低越好）。SyncNet 在 VoxCeleb2 上训练，主要覆盖英语、正面人脸。#Chung-et-al.-2017

LSE-C / LSE-D 是 Wav2Lip 论文引入的变体，计算方式类似但使用不同的 SyncNet 模型版本。复现时务必确认使用的是哪个 SyncNet checkpoint。#Prajwal-et-al.-2020

1.4 身份保持：CSIM、ArcFace

CSIM（Cosine Similarity of Identity embedding） 用 ArcFace 等人脸识别模型提取参考图和生成帧的身份 embedding，计算余弦相似度。CSIM 的关键陷阱是判别性嵌入和生成质量的脱节：ArcFace 是为身份判别训练的，一张模糊但"像同一个人"的图像可以得高分。此外，静态面部（几乎没有表情变化）的 CSIM 通常很高——不代表模型的表情生成能力好。#Deng-et-al.-2019

1.5 系统效率：FPS、RTF、TTFF、VRAM

系统效率指标看起来最直接，却也是最容易被论文和 demo 误导的维度。FPS 必须区分离线批量、单路流式和多路并发；RTF < 1 表示实时；TTFF（Time To First Frame）对实时交互场景比 FPS 更重要；VRAM 决定了单卡能跑什么模型。

flowchart TD
  Q1{"模型输出类型？"}
  Q1 -->|"视频帧序列"| Q2{"评估什么？"}
  Q1 -->|"3D 资产"| Q3{"渲染后评估 还是资产评估？"}
  Q1 -->|"参数化面部"| Q4{"驱动精度 还是外观质量？"}
  Q2 -->|"画质"| M1["FID / LPIPS"]
  Q2 -->|"时序稳定"| M2["FVD / Dino-S"]
  Q2 -->|"唇音同步"| M3["Sync-C/D"]
  Q2 -->|"身份保持"| M4["CSIM / ArcFace"]
  Q3 -->|"渲染后"| M5["同视频帧指标"]
  Q3 -->|"几何资产"| M6["Chamfer / F-Score"]
  Q4 -->|"驱动精度"| M7["AED / AKD"]
  Q4 -->|"外观"| M8["PSNR / SSIM / LPIPS"]
  

图 1：指标选择决策树。从模型输出类型出发，引导到适合的评测指标。

轻量换嘴路线的基本假设是：原视频的大部分内容已经足够好，模型只需要改嘴部或脸部局部区域。Wav2Lip 的代表性设计是先训练一个强唇形同步专家，再用 L1、VGG perceptual、Sync loss 和 adversarial loss 约束生成器；论文级实验报告 8 张 V100 训练约 3 天、单 V100 约 40 FPS，训练和测试基准围绕 LRS2 与 ReSyncED 展开。#Wav2Lip

MuseTalk 把问题放进 latent inpainting：先用 L1 + VGG perceptual 学局部重建，再加入 face / lip adversarial discriminator 和 SyncNet 同步约束；本地精读记录的配置是 Stage 1 用 8 张 H20、200k steps、约 60 小时，Stage 2 约 30 小时，推理在 V100 上 256×256、preloaded data 条件下约 30 FPS。#MuseTalk

这条路线的 benchmark 要特别注意"保留原视频"的优势。因为背景、头部姿态和大部分脸部纹理来自原视频，FID/FVD 往往不会暴露模型真实的可控性短板；相反，LSE-C/LSE-D、CSIM、嘴部边界 artifact 和用户研究更接近产品风险。

运动空间路线先把脸部、头部或身体动作压到更低维的表示里，再由渲染器把运动转成视频。SadTalker 使用 3DMM 运动系数，把表情和姿态拆给 ExpNet 与 PoseVAE。#SadTalker

LivePortrait 用隐式关键点、stitching 和 retargeting 做快速肖像动画；Stage I 在 8 张 A100 上从零训练约 10 天，Stage II 约 2 天，推理在 RTX 4090 + PyTorch 上约 12.8ms。#LivePortrait

VASA-1 把面部潜在空间和 diffusion transformer 分开：面部潜在空间模型用 4 张 RTX A6000 训练 7 天，扩散 Transformer 训练 3 天；推理在单 RTX 4090 上达到 512×512 在线 40 FPS、启动延迟约 170ms。VASA-1 评估 SC、SD、FVD25、CAPP、ΔP。#VASA1

Ditto 和 Teller 更直接面向流式系统。Ditto 用 8 张 A100、batch size 1024、500 epochs 训练 motion-space diffusion，推理报告 RTF 与 FFD；Teller 则把 motion 进一步 token 化，Stage 1 / SFT / ETM 使用 8×8 A800 量级训练，推理在 4 张 H800 上按 200ms chunk 运行。#Ditto #Teller

3D/显式可渲染表示路线的 benchmark 和通用视频生成很不一样：它通常是 person-specific，先用某个目标人物的几分钟到几小时视频训练一个资产，再用新音频或新 motion 驱动它。AD-NeRF 把头和躯干建成 NeRF，后续论文汇总里出现过 167.6 小时训练、0.04 FPS 的量级；ER-NeRF 通过区域感知和高效表示把训练降到 8.9 小时、推理到 15.21 FPS。#ADNeRF #ERNeRF #DigitalHuman3DGS

3D Gaussian Splatting 把渲染瓶颈从体渲染的 ray marching 转成显式 Gaussian rasterization。TalkingGaussian 的训练约 1.5 小时、推理 70.42 FPS；GaussianTalker 训练 4.5 小时、59.24 FPS；GSTalker 训练 40 分钟、实时 125 FPS；EGSTalker 训练 3.7 小时、68.51 FPS。#TalkingGaussian #GaussianTalker #GSTalker #EGSTalker

SentiAvatar 属于 motion controller：它用 8 张 A100 训练 R-VQVAE、Motion Foundation Model、SFT 和 Infill Transformers，报告约 0.3 秒生成 6 秒 motion 输出，benchmark 是 SuSuInterActs 与 BEATv2，指标包括 R@1、FID、ESD、Diversity、FGD、BC 和用户研究。#SentiAvatar

扩散肖像路线的优势是表情和画面质量，代价是多步采样。Hallo 使用 8 张 A100、两阶段各 30,000 steps、512×512 训练，benchmark 覆盖 HDTF、CelebV 和 Wild，指标包括 FID、FVD、Sync-C、Sync-D、E-FID；AniPortrait 的 Audio2Lmk 在单张 A100 上训练，Lmk2Video 用 4 张 A100、每阶段约 2 天。#Hallo #AniPortrait #EMO

整帧与全身路线把背景、身体和场景也纳入生成。Animate Anyone 用内部 5K character video clips，评测 UBC fashion video 和 TikTok；OmniAvatar 基于 Wan2.1-T2V-14B 做 LoRA 音频适配；InfiniteTalk 基于 Wan2.1-I2V-14B，使用约 2000 小时数据和 64 张 H100 80G 训练。#AnimateAnyone #OmniAvatar #InfiniteTalk

实时流式路线的关键不是"换一个更快采样器"，而是把训练目标、因果注意力、蒸馏、量化、流水线和缓存一起改。Live Avatar 用 14B Wan-S2V 初始化，Stage 1 用 128×H800 训练 25K steps，推理默认 4-step，5×H800 达到 45.2 FPS / 1.21s TTFF。StreamAvatar 把双向扩散改为 block-wise causal attention 并蒸馏；LLIA 则用 consistency model、INT8 和 pipeline parallelism，在 RTX 4090D 上 512×512 45 FPS。#LiveAvatar #StreamAvatar #LLIA

数字人的数据集大致分三类：训练数据（用于学参数）、评测数据（用于算指标）和两用数据。选择数据集时不只看规模，还要看 License 是否允许商用、人口统计学偏差是否匹配目标场景、分辨率和帧率是否与实验设置对齐。

表：数字人主流数据集汇总。

数据集-模型交叉矩阵

表：数据集-模型交叉矩阵。T = 训练使用，E = 评测使用。LiteAvatar 是工程工具，不使用学术数据集。

FlashHead、LAM、UIKA 和 LiteAvatar 是四种类型完全不同的数字人模型。它们各自的论文用不同的指标、在不同的数据集上报告结果。直接比较 FlashHead 的 FID 和 LAM 的 PSNR，就像比较汽车的风阻系数和自行车的链条效率。

8.1 模型定位

8.2 桥接策略：输出归一化 + 两层指标

对比的前提是让四个模型的输出进入同一格式：所有模型统一输出 25fps、512×512 的视频帧序列。LAM/UIKA 用测试音频驱动 FLAME 参数 → 固定虚拟相机渲染视频；FlashHead/LiteAvatar 直接使用原生输出。

两层分开报告，不合成单一分数。

8.3 测试集与人评

测试集：标准集（HDTF 75 videos + VFHQ 50 clips）与论文对齐；压力集（长音频 >60s、非英语、极端姿态、歌唱）测边界；身份集（20 身份 × 3 张参考图）测稳定性。

人评：30 人，within-subject 设计，4 维度 1-5 分 MOS（唇音同步、身份匹配、自然度、整体偏好），Latin Square 随机化，Krippendorff's alpha + Wilcoxon signed-rank test + Bonferroni correction。

flowchart LR
  subgraph Inputs["统一输入"]
    A["参考图像"] --> B["测试音频"]
  end
  subgraph Models["四模型推理"]
    B --> C["FlashHead\n→ 视频帧"]
    B --> D["LAM\n→ 3DGS → 渲染视频"]
    B --> E["UIKA\n→ 3DGS → 渲染视频"]
    B --> F["LiteAvatar\n→ 视频帧"]
  end
  subgraph Normalize["输出归一化"]
    C --> G["512×512, 25fps"]
    D --> G
    E --> G
    F --> G
  end
  subgraph Metrics["统一评测"]
    G --> H["Tier 1: Sync + CSIM + FPS"]
    G --> I["Tier 2: FID/FVD 或 PSNR/AED"]
    G --> J["人评 MOS"]
  end
  

图 2：四模型标准化对比流程。

如果目标是复现实验，benchmark 可以沿论文设置走；如果目标是产品选型，建议把测试集拆成四组。

flowchart TD
  Q1{"目标是离线内容还是实时交互？"}
  Q1 -->|"离线内容"| A1["优先 FID / FVD / CSIM / 人评"]
  Q1 -->|"实时交互"| Q2{"是否要长时稳定？"}
  Q2 -->|"否，短对话"| A2["Sync-C/D + RTF + TTFF + p95 latency"]
  Q2 -->|"是，长直播"| A3["长视频身份 + Dino-S + Sync + drift rate + 重置策略"]
  Q1 -->|"专人资产"| A4["训练时间 + FPS + LMD + LSE-C + held-out frames"]
  

图 3：数字人 benchmark 设计决策树。论文指标解决"能否复现"，业务指标解决"能否上线"。

从 benchmark 回到产品选型

数字人项目的失败经常不是模型不可用，而是阶段错配：PoC 阶段追求生产级画质，MVP 阶段没有监控和降级，规模化阶段才发现许可证、肖像权、声音权或单位经济模型不成立。

上线前还要单独检查许可证。Wav2Lip README 提示存在商业 API；MuseTalk 主许可证为 MIT；LivePortrait 主仓库为 MIT，但部分 InsightFace 相关模型仅限非商业研究；SadTalker 使用 Apache-2.0。代码许可证、模型权重许可证、依赖模型条款和训练数据授权要分开看。#Wav2Lip-GitHub #MuseTalk-License #LivePortrait-License #SadTalker-License

下表按技术路线整理 28 个模型的输入、输出和多阶段训练配置。多阶段模型分别列出每个训练阶段的输入；推理时输入单独标注。#Wav2Lip #MuseTalk #SadTalker #LivePortrait #VASA1 #Ditto #Teller

表：28 个数字人模型的输入/输出规格。多阶段训练分别列出；推理输入指部署时所需。#EGSTalker #SentiAvatar #Hallo #AniPortrait #FLAP #OmniAvatar #InfiniteTalk #LiveAvatar #StreamAvatar #LLIA #Yu-et-al.-2026 #He-et-al.-2025 #Wu-et-al.-2026 #LiteAvatar

Part 7 汇总了数据集的 License 和适用场景，本节补充每个数据集实际提供什么类型的数据（视频、音频、参考图像、3D 扫描、标注等）以及磁盘规模。选择数据集时，除了看 License 和规模，还要看数据组织格式是否与模型训练管线匹配。

表：15 个主流数据集的数据组织格式与规模。加粗"无"表示该数据集不提供此类数据。

Part 1 覆盖了五大通用指标族（画质、时序、同步、身份、效率），但数字人的核心用户体验是"看起来像不像真人"——这个问题比任何单一指标都更复杂。本节补充三方面内容：人脸专用质量评估（FIQA）、感知质量最新进展、以及 deepfake 检测能否反向用作真实度指标。

C.1 人脸专用质量评估（FIQA）

FIQA（Face Image Quality Assessment）是专门针对人脸图像的质量评估，区别于通用 IQA。但需要注意：现有 FIQA 方法几乎全部以"人脸识别性能"为优化目标——其质量定义是"这张脸能否被准确识别"，而非"这张脸看起来是否像真人"。直接用于数字人真实度评测存在概念错位，但可作为辅助筛除指标。

C.2 感知质量与人脸真实度指标

除了 Part 1 已覆盖的 FID/FVD/LPIPS，以下指标对数字人脸真实度有更直接的评测价值：

C.3 Deepfake 检测能否反向用于真实度评测？

一个直觉性的想法是：如果 deepfake 检测器判断生成脸为"真"，说明它足够真实。但这个推理存在根本性问题。

C.4 推荐的分层真实度评测框架

综合 Part 1 的通用指标和本节的专项目标，推荐以下分层评估框架：

数字人没有一个统一 benchmark 能覆盖所有路线。轻量换嘴的核心是同步和边界质量；运动空间的核心是低维运动是否稳定、可控、实时；NeRF/3DGS 的核心是专人资产训练成本和渲染效率；扩散肖像和整帧全身路线的核心是表现力、长时一致性和采样成本；流式基模则必须把 FPS、TTFF、长视频身份和系统链路一起评估。

跨路线对比（如 FlashHead vs LAM vs UIKA vs LiteAvatar）需要输出归一化和两层指标体系，不能合成单一分数排名。产品选型时，先把业务目标翻译成评测维度，再从本文的指标族和数据集表中选择合适的工具。