MotionShop-2：视频角色替换

在前面几篇精读中，我们分析了阿里通义 aigc3d 团队的学术工作：AniGS 从单图生成可动画 3D 高斯 Avatar（CVPR 2025）#Qiu et al., 2024，LHM 用前馈 Transformer 秒级重建可动画 3D 人体（ICCV 2025）#Qiu et al., 2025。这些研究解决了"如何从一张照片得到 3D 数字人"的问题，但距离用户可用的产品还有一个关键环节：如何把 3D 数字人放进真实视频中。

MotionShop-2 就是这个环节的答案。它是阿里通义 aigc3d 团队的视频角色替换工程系统，于 2024 年 10 月发布，已集成到通义 App 和 ModelScope 平台。#aigc3d Team, 2024给定一段视频和任意 3D Avatar 模型，MotionShop-2 能将视频中的人物替换为 3D 虚拟角色，保持原始运动轨迹和背景不变。整个过程在分钟级完成。

与 AniGS/LHM 不同，MotionShop-2 不是一篇学术论文，而是一个完整的工程管线。它不解决单一的算法问题，而是将检测、分割、修复、姿态估计、动画重定向、渲染和合成等多个环节组装成一个端到端系统。这正是"工程解读"系列的价值所在——理解学术成果如何被组装成可用的产品。

图 3：MotionShop-2 实际效果演示。左侧 Player-3 为输入的 3D Avatar 模型（犬头角色），中间 Motion 为原始视频中的人物动作（武术姿势），右侧 Animation 为最终替换结果——3D Avatar 复现了原始人物的运动轨迹。来源：MotionShop-2 项目页演示视频

视频角色替换看似简单——把人抠掉、换成 3D 模型——但每个环节都有工程级的难度：

图 1：MotionShop-2 整体架构。左侧输入视频和 Avatar 资产，中间双并行管线（姿态估计+视频修复），右侧 UniTIDE 混合渲染输出最终结果。来源：MotionShop-2 项目页

图 2：原始 MotionShop 架构。两并行管线：左侧视频处理（检测→分割→修复），右侧姿态渲染（CVFFS→SMPL→重定向→光照→TIDE→合成）。来源：MotionShop 项目页

MotionShop-2 的架构可以概括为"双并行管线 + 合成输出"。我们从输入到输出逐层拆解。原始 MotionShop 的架构（图 2）奠定了双管线设计的基础，MotionShop-2 在此基础上升级了三个核心模块。

管线 1：视频处理（背景提取）

这条管线的目标是：从原始视频中移除人物，生成干净的背景视频序列。

管线 2：姿态估计与渲染

这条管线的目标是：从视频中提取人体运动，映射到 3D Avatar 上，渲染成动画序列。

graph LR
    subgraph P1["管线 1：视频处理"]
        A["视频帧"] --> B["角色检测"]
        B --> C["SAM 分割+跟踪"]
        C --> D["ProPainter 修复"]
        D --> E["干净背景"]
    end
    subgraph P2["管线 2：姿态渲染"]
        F["视频帧"] --> G["SMPL-X 姿态估计"]
        G --> H["动画重定向"]
        H --> I["光照估计"]
        I --> J["UniTIDE 渲染"]
        J --> K["角色序列"]
    end
    E --> L["合成输出"]
    K --> L
    L --> M["最终视频"]
  

并行化设计的关键

两条管线完全独立：管线 1 不需要等待姿态估计完成，管线 2 也不需要等待背景修复完成。它们各自处理相同的输入视频帧，最终在合成阶段汇合。这种设计将总处理时间从 $T_1 + T_2$ 压缩到 $\max(T_1, T_2)$，是 MotionShop 实现分钟级处理的核心优化。

升级 1：Video Inpainting 提速 20%

升级 2：SMPL → SMPL-X + 手工校正 + 时序正则化

其中 $\theta \in \mathbb{R}^{55 \times 3}$ 是姿态参数（身体 24 + 手部 30 + 面部 1），$\beta \in \mathbb{R}^{10}$ 是体型参数，$\psi$ 是面部表情 blendshape 参数，$W(\cdot)$ 是线性混合蒙皮函数。MotionShop-2 选择 SMPL-X 是为了在动画重定向时保留更精细的手部和面部运动。

此外，MotionShop-2 还加入了时序正则化项，增强 SMPL-X 参数序列的平滑度。这解决了单帧估计的时序抖动问题——即使每帧估计都正确，帧间的小幅波动也会导致动画不自然。时序正则化通过约束相邻帧的参数变化幅度，使输出运动更加流畅。

升级 3：TIDE → UniTIDE 混合渲染

原始 TIDE 是一个纯路径追踪渲染器，只支持三角网格。MotionShop-2 将其升级为 UniTIDE（Unified TIDE），新增了三项关键能力：

Hybrid Rendering：mesh 与 3DGS 的共融

传统渲染管线只能处理一种表示——要么是三角网格（路径追踪），要么是 3D 高斯（光栅化）。如果场景中同时需要 mesh 和 3DGS，通常的做法是分别渲染再合成，但这会导致光照不一致和边缘伪影。

MotionShop-2 的 Hybrid Rendering 在单一渲染管线中同时处理两种表示。从架构图可以看到，UniTIDE Rendering 模块同时接收 GS（3D 高斯 Avatar）和 Mesh（传统三角网格）作为输入，统一处理光照、阴影和合成。这种设计的关键技术挑战是：

• 深度排序：3DGS 的 splatting 和 mesh 的光栅化需要统一的深度缓冲

• 光照一致性：mesh 表面的 BRDF 和 3DGS 的球谐函数需要在同一光照模型下求解

• 材质融合：mesh 的精确材质（金属、玻璃）和 3DGS 的近似材质需要视觉一致

AvatarShop + GA² + AniGS：Avatar 来源的三层结构

从架构图分析，MotionShop-2 的 Avatar 来源形成了一个三层结构：

AniGS 的集成是 MotionShop-2 最具用户价值的更新。在原始 MotionShop 中，用户只能从预制模型库中选择 Avatar；而在 MotionShop-2 中，用户可以上传自己的照片，通过 AniGS 生成个性化的 3D 高斯 Avatar，然后直接替换到视频中。这实现了"3D Animation Engine for Your Photos"的产品愿景。

推理流程

MotionShop-2 的完整推理流程：

整个系统的处理时间在分钟级，主要瓶颈在于视频修复（ProPainter）和渲染（UniTIDE 路径追踪）。AniGS Avatar 生成是离线预处理步骤，不进入实时管线。

各模块技术栈

工程配置披露

产品集成状态

技术贡献定位

MotionShop-2 的核心贡献不在于发明新算法，而在于将多个学术成果组装成一个可用的产品管线。这种"集成创新"在工业界可能比单一算法突破更有价值——因为用户需要的是端到端体验，不是某个模块的 SOTA 指标。

局限性

• 代码未开源：尽管项目页承诺"2025 年 3 月前发布代码"，但截至本文撰写时 GitHub 仍为空仓库。这使得学术社区无法复现或基于 MotionShop-2 做进一步研究。

• 定量评估缺失：MotionShop-2 没有提供与竞品的定量对比（如 PSNR、LPIPS、用户偏好测试）。Inpainting 提速 20% 是唯一的定量数据，但没有基准参照。

• 输入限制：通义 App 限制视频 ≤ 15 秒且人物需完整可见，这对复杂场景的适用性有限。

• SMPL-X 依赖人工校正：虽然 fine-tune 后精度提升，但数据集构建依赖人工校正，难以大规模扩展。

• 非实时：分钟级处理无法用于直播等实时场景。

启发与展望