4DHumanQA:3D 动画质量评估
250 个动画、48 名被试、6 种失真——第一个用人类感知验证的评估度量
论文精读(三十六)· 4DHumanPercept · DSIS · SROCC 0.961 · MPJPE
Part 1
3D 人体动画的质量该怎么评
3D 人体动画(包括卡通风格和真实风格)的质量评估长期缺乏标准化方法。现有工作要么用 MPJPE 这类几何指标(忽略感知质量),要么用 LPIPS 这类图像指标(不理解 3D 运动语义)。
4DHumanQA #Rekik-et-al.-2025 来自 Inria(Grenoble + Rennes),构建了 4DHumanPercept 数据集:250 个 3D 人体动画 + 48 名被试的主观 MOS 评分,并提出了第一个经感知验证的自动评估度量。
Part 2
4DHumanPercept 数据集与 DSIS 评分协议
2.1 数据集规模
| 属性 | 值 |
|---|---|
| 动画数量 | 250 个带 MOS 标注的 3D 人体动画对 |
| 源模型 | 8 个(训练/验证)+ 额外(测试) |
| 失真类型 | 6 种 |
| 失真强度 | 5 级 |
| 基础模型 | SMPL(基于 4DHumanOutfit) |
2.2 六种失真类型
| 类别 | 失真 | 模拟场景 |
|---|---|---|
| 全局运动 | Foot Skating(滑动/月球步) | 根关节平移错误 |
| Foot Contact(脚浮空) | 垂直轴偏移 | |
| Motion Smoothness(帧删除) | 流畅度降低 | |
| 局部运动 | Twist Artefacts(关节扭曲) | 关节旋转错误 |
| 几何 | Self-intersections(自相交) | 身体穿模 |
2.3 DSIS 评分协议
使用 ITU 标准的 DSIS(Double Stimulus Impairment Scale)方法:
- 同时展示参考动画(左)和失真动画(右)
- 5 级评分:1=不可察觉、2=可察觉但不烦人、3=轻微烦人、4=烦人、5=非常烦人
- 8 秒刺激片段,不可重放
- 使用 PsychoPy 设计实验
- 训练阶段(5) + 练习阶段(3) + 正式评分(125)
- 实验时长约 30 分钟/人
48 名被试(17 女/31 男,20-60 岁),每人分配 125 个刺激。另有 5 名先导被试用于校准失真等级。
Part 3
核心发现:组合特征远胜单一指标
3.1 单一特征的局限
7 个候选特征与 MOS 的 Spearman 相关系数:
| 特征 | 含义 | SROCC |
|---|---|---|
| MPJPE (F7) | 平均逐关节位置误差 | 0.436 |
| Chamfer Distance (F1) | 表面点云距离 | 0.356 |
| Hausdorff Distance (F2) | 最大表面距离 | 0.343 |
| LDLJ (F6) | 关节加速度 | 0.266 |
| LPIPS | 感知图像距离 | 0.144 |
单一客观特征与 MOS 的 SROCC 仅为 0.144-0.436。最强的单特征是 MPJPE(0.436),最弱的是 LPIPS(0.144)——这再次证明通用图像感知指标对 3D 动画质量评估几乎无效。
3.2 4DHumanQA 组合模型
使用 7 个特征的线性回归模型,在测试集上达到:
| 指标 | 4DHumanQA | LPIPS(最佳单指标) |
|---|---|---|
| SROCC | 0.961 | 0.76 |
| PLCC | 0.917 | — |
| MSE | 0.178 | — |
SROCC 从 0.436(最佳单特征)提升到 0.961(组合模型),证明了多维特征的互补价值。
Part 4
对卡通数字人评测的启示
4DHumanQA 的核心结论——自动评估指标无法有效替代主观用户研究——在卡通场景下更加成立。但它也给出了建设性方向:
- 组合特征优于单一指标:不要只报告 FID 或 LPIPS,而是组合多个运动/几何/感知特征
- 失真类型敏感:不同失真(脚滑 vs 穿模 vs 运动抖动)需要不同的检测特征
- DSIS 是可靠的评分协议:同时展示参考和失真,比单独评分更稳定
参考来源
- Rekik, R. et al. (2025). 4DHumanQA: Quality Assessment of 3D Human Animation. arXiv:2505.23301