LHM：秒级可动画人体重建

上一篇我们精读了 AniGS——同一个团队（阿里通义实验室邱陵腾等）用 CogVideo 生成多视角 canonical 图像，再用 4D Gaussian Splatting 做不一致重建，从单图得到可动画 3D Avatar。AniGS 的效果很好，但有一个痛点：4DGS 优化需要约 15 分钟，距离"实时"还有不小距离。

LHM（Large Animatable Human Reconstruction Model）是同一团队的后续工作，被 ICCV 2025 收录。#Qiu et al., 2025 它的核心思路是：跳过多视角生成和优化两步，用一个大 Transformer 直接从前馈通路预测 3D Gaussian Splatting 参数。结果是推理时间从 15 分钟降到 2.01 秒（LHM-0.5B 模型），PSNR 还提升了 3.322 dB（LHM-1B 模型）。

这个跃迁的背后是"大重建模型"（Large Reconstruction Model, LRM）范式的延伸——LRM 证明了 Transformer 可以从单图前馈重建 3D 物体，LHM 把这个思路扩展到了可动画人体。但扩展并不简单：人体有复杂的铰接结构、面部细节、衣物褶皱，还需要大规模训练数据。LHM 通过三个关键设计解决了这些挑战：Multimodal Body-Head Transformer（MBHT）、Head Feature Pyramid Encoding（HFPE）、以及基于视频数据的自监督训练策略。

单图可动画 3D 人体重建面临的核心矛盾是：高质量和泛化能力不可兼得。我们可以把现有方法分为三类，每类都有结构性缺陷：

LHM 的 Insight 是：用大模型的前馈能力替代优化过程，用大规模视频数据替代稀缺的 3D 扫描数据。这正是 LRM 范式在可动画人体领域的具体实现。

图 1：LHM 整体流程。输入单张图像，提取 Body 和 Head 两种图像 Token，与 SMPL-X 表面采样的 3D 几何 Token 通过 MBHT 融合，最终回归 3D Gaussian 参数。来源：LHM, Fig. 2

LHM 的架构可以概括为"三类 Token + 多层 MBHT Block + MLP 回归"。我们从输入到输出逐层拆解。

三类 Token 编码

LHM 将输入信息编码为三类 Token，送入 Transformer 进行注意力交互：

图 2：Head Feature Pyramid Encoding 架构。从 DINOv2 的第 4/11/17/23 层提取多尺度特征，通过融合模块生成头部 Token。来源：LHM, Suppl. Fig.

MBHT Block：Body-Head 分离注意力

其中 $\mathbf{F}_{\text{global}}$ 是从 body Token 经 max pooling 和 MLP 提取的全局上下文特征，用于 Adaptive Layer Normalization（adaLN）调制。

图 3：MBHT-block 架构。头部 3D Token 先与头部图像 Token 做 MM-T 交互，然后与身体 3D Token 拼接，再与身体图像 Token 做第二次 MM-T 交互。来源：LHM, Fig. 3

为什么要做 Body-Head 分离？论文实验发现，如果直接用标准 MM-Transformer 让所有 Token 一起做注意力，模型会过度依赖头部特征，导致身体部分的表达能力下降。MBHT 的两阶段设计让头部先获得充分的信息融合，再与身体进行全局交互，取得了更好的平衡。

Head Token Shrinkage Regularization

尽管有了 MBHT 的分离设计，模型在训练中仍然倾向于过度关注头部 Token。LHM 借鉴 MAE #He et al., 2022 的思路，在训练时随机 mask 掉 0–50% 的头部输入区域，迫使模型增强对身体上下文的利用。消融实验显示这一正则化提升了整体性能，但 Face Consistency 指标略有下降——这是预期的权衡。

3DGS 参数预测

经过 $N_{\text{layer}}$ 个 MBHT-block 后，MLP 回归每个查询点的 3D Gaussian 参数：

其中 $\Delta\mathbf{p}_i$ 是相对于 SMPL-X 初始化位置的残差偏移，这种参数化方式让网络只需学习微调而非从零预测，训练更稳定。

与 AniGS 的架构对比

训练数据

LHM 的训练数据由两部分组成：

损失函数

LHM 的训练是完全自监督的——不需要 3D 扫描标注，只用视频帧的渲染损失。预测的 canonical 3DGS 通过 Linear Blend Skinning（LBS）转换到目标视角，经可微分光栅化渲染后与真实视频帧对比。

损失函数分为两部分：

• ASAP（As Spherical As Possible）：惩罚高斯各向异性，防止针状椭球体：

其中 $d = 5.25\text{cm}$，允许局部微调但防止灾难性漂移。

训练配置披露

推理流程

LHM 的推理极其简洁——单次前馈传播，无需任何后处理：

graph LR
    A["单张 RGB 图像"] --> B["SAMURAI 前景分割"]
    B --> C["Multi-HMR SMPL-X 估计"]
    C --> D["Sapiens-1B Body Token"]
    C --> E["DINOv2 HFPE Head Token"]
    C --> F["SMPL-X 几何 Token"]
    D --> G["MBHT Transformer × N layers"]
    E --> G
    F --> G
    G --> H["MLP 回归 3DGS 参数"]
    H --> I["Canonical 3DGS"]
    I --> J["LBS 姿态驱动"]
    J --> K["3DGS 光栅化渲染"]
  

推理效率对比

前馈推理 vs 优化推理

AniGS 的推理链路是"生成多视角图像 → 4DGS 优化"，每一步都是耗时瓶颈。LHM 的前馈推理将两步合并为一个 Transformer 前向传播，推理时间仅取决于模型规模和输入分辨率，不受视角数量或优化迭代次数影响。

值得注意的是，LHM-0.5B 虽然推理最快（2.01s），但性能已全面超越 AniGS。更大的模型（0.7B、1B）进一步提升质量，但推理时间也相应增加。这种可伸缩的模型规模设计让用户可以根据算力预算选择合适的变体。

在实际部署中，LHM-0.5B 的 18 GB 显存需求意味着可以在 RTX 4090（24 GB）等消费级显卡上运行，而 LHM-1B 的 24 GB 则刚好触及 RTX 4090 的显存上限。所有变体的推理时间都在 7 秒以内，满足交互式应用的响应时间要求。不过需要注意的是，这里的推理时间仅包含模型前馈部分，前置的 SMPL-X 估计和后置的 3DGS 光栅化渲染还会额外消耗时间，完整 pipeline 的端到端延迟会更高。#Qiu et al., 2025

实验配置

静态重建：定量对比

图 4：单视角重建的定性对比。LHM 在面部细节和衣物褶皱上保持最佳的外观保真度和纹理清晰度。来源：LHM, Fig. 4

动画重建：定量对比

图 5：动画重建定性对比。LHM 生成更准确、更逼真的动画结果，而 AniGS 的结果在忠实于输入图像方面存在不足。来源：LHM, Fig. 5

消融实验

关键发现：合成数据单独训练泛化能力极差，加入真实视频后性能大幅提升。数据量从 10K→300K，PSNR 持续提升但边际递减效应明显——100K→300K 只提升 0.219 dB。这暗示 300K 可能已接近当前架构的收益上限。

MBHT 相比标准 MM-Transformer 提升 PSNR 1.576、LPIPS 降 0.056，证实了 Body-Head 分离注意力的有效性。Shrinkage Regularization 进一步提升整体性能，但 FC 从 0.041 升至 0.042——这是预期的权衡：牺牲少量面部一致性换取更好的身体建模。

图 6：模型架构消融。(a) 标准 MM-Transformer; (b) LHM-0.5B; (c) LHM-1B。更大的模型在面部区域有更准确的重建。来源：LHM, Fig. 6

图 7：Canonical 空间正则化消融。ASAP 损失消除半透明边界伪影，ACAP 损失消除人体周围的浮点。来源：LHM, Suppl. Fig.

技术贡献定位

LHM 在"单图可动画 3D 人体重建"这一任务上实现了从"优化式"到"前馈式"的范式跃迁。如果说 AniGS 是"先生成再优化"的两阶段方案，LHM 则是"端到端回归"的一阶段方案。这种跃迁与 2D 图像生成领域从 GAN 到扩散模型的变化不同——LHM 的进步体现在推理范式的简化上，而非生成质量的提升。

局限性

论文承认的主要局限是视角偏差：真实视频数据以正面视角为主，对罕见姿态和极端角度的覆盖不足，影响模型对新视角的泛化。#Qiu et al., 2025 此外从工程角度还有几个值得注意的问题：

• 推理分辨率未披露：论文未明确给出评测时的渲染分辨率，使得指标的可复现性存在不确定性。

• 运动驱动方式有限：LHM 只支持 SMPL-X 姿态参数驱动，无法直接接收文本或音频输入做语义级动画控制。

• 衣物动态缺失：LHM 重建的是 canonical 空间的静态 3DGS，动画时只通过 LBS 做刚性形变，无法表示衣物的非刚性物理动态。

• 显存门槛：虽然推理显存 18–24 GB 看似可接受，但这只是模型推理部分，加上前置的 SMPL-X 估计和后置渲染，完整 pipeline 的显存需求会更高。

启发与展望