JoyVASA

音频驱动肖像动画（Audio-Driven Portrait Animation）是数字人领域中最具应用价值的方向之一：给定一张静态图片和一段音频，生成嘴型同步、表情自然的动画视频 #Cao-et-al.-2024。这个方向经历了三代技术演进——从早期 GAN 端到端方法（Wav2Lip、DINet）的"只动嘴"，到 Two-stage 中间表征方法（SadTalker、DreamTalk）的解耦尝试，再到 2024 年扩散模型（EMO、Hallo、VASA-1）带来的质量飞跃 #Tian-et-al.-2024 #Xu-et-al.-2024-VASA。

然而，扩散模型在提升生成质量的同时，也带来了新的问题。多数端到端扩散方法一次只生成约 10 帧（约 0.4 秒 @ 25fps），导致帧间连续性不足、时序抖动 #Cao-et-al.-2024。更关键的是，这些方法的运动生成往往与特定身份绑定——换一张脸就需要重新提取参考动作，无法做到"一次训练，万物驱动"。

JoyVASA 的核心思路是：把身份和运动彻底拆开。通过复用 Ditto">LivePortrait 的解耦表征框架分离静态外观与动态运动，再用一个轻量的扩散 Transformer 仅从音频生成身份无关的运动序列。这种设计使得同一个运动生成模型可以驱动人类、动物、动漫角色甚至手工艺品——这在端到端方法中几乎不可能实现。

要理解 JoyVASA 的设计动机，我们需要看清当前扩散驱动方法面临的两个结构性问题。

问题一：短帧生成的时序断裂

多数端到端扩散方法（EMO、Hallo、EchoMimic 等）在推理时一次预测约 10 帧图像，对应标准 25fps 帧率下的 0.4 秒 #Guan-et-al.-2023 #Chen-et-al.-2024。这意味着模型在每一段只"看到"极短的上下文，无法有效捕捉前序运动趋势。结果就是帧间拼接处容易出现时序抖动和外观形变——尤其是头部大幅转动时，不同段之间的姿态可能不一致。

部分工作试图通过增加预测帧数和前序帧数来缓解这一问题 #Jiang-et-al.-2024，但这直接增加了扩散模型的计算负担——对于像素级端到端生成，每多一帧都意味着 UNet 或 DiT 需要处理更多的空间信息。

问题二：身份与运动的纠缠

端到端方法的另一个隐性约束是：运动生成过程依赖图像特征。无论是 EMO 的 speed embedding、Hallo 的 facial landmarks 还是 AniPortrait 的 keypoints guidance，这些额外条件都从参考图像或参考视频中提取。这意味着：

• 灵活性受限：每次生成新角色的动画，都需要从该角色的视频中提取参考动作
• 跨域泛化差：模型训练在人脸数据上，很难直接驱动动物或卡通角色
• 训练成本高：扩散模型同时学习外观渲染和运动生成，参数量大、训练周期长

JoyVASA 的架构清晰地分为两个阶段。第一阶段利用 LivePortrait 完成面部表示的解耦，第二阶段训练一个轻量扩散 Transformer 从音频生成运动序列。

Stage 1：面部表示解耦

第一阶段直接复用 LivePortrait #Guo-et-al.-2024 的解耦框架。给定源图像 $s$ 和驱动视频 $d_1, \ldots, d_N$，框架通过两个编码器提取不同性质的特征：

• 外观编码器 $E_{app}$：从源图像提取 3D 面部嵌入 $f_{face}$，编码身份、纹理、结构等静态属性
• 运动编码器 $E_{mnt}$：从每帧图像提取运动参数，包括规范空间关键点 $x_c$、位移 $\delta$、旋转矩阵 $R$、平移向量 $t$ 和缩放因子 $s$

核心变换公式定义了从规范空间到实际空间的映射：

这个公式的物理含义非常直观：$x_c$ 是一张"标准正面脸"的基准关键点；乘以 $R$ 旋转到实际头部朝向；加上 $\delta$ 做局部表情位移（张嘴、皱眉）；乘以 $s$ 缩放到实际距离；最后加上 $t$ 平移到图像中的位置。源图像和驱动帧共享同一套 $x_c$，但运动参数不同——这正是解耦的关键。

Stage 2：音频驱动运动序列生成

第二阶段是 JoyVASA 的核心贡献。目标是训练一个扩散模型，仅从音频线索生成完整的运动序列 $X_i = [R_i, t_i, \delta_i, s_i]$，完全独立于角色身份。

音频特征提取：使用冻结的 wav2vec2 #Baevski-et-al.-2020 编码器。冻结策略确保音频特征在扩散训练过程中不发生漂移，同时大幅降低训练开销——只有扩散 Transformer 的参数需要更新。 扩散 Transformer 架构：6 层 Transformer decoder，8 头注意力，隐藏维度 512。这是一个相当紧凑的模型——相比端到端扩散方法需要处理像素级渲染的大型 UNet，JoyVASA 的第二阶段只生成低维运动参数序列，计算开销显著更低。 滑动窗口策略：为了保证时序连续性，模型在训练和推理时都采用双窗口机制。当前窗口 $W_{cur} = 100$ 帧是需要去噪的目标序列；过去窗口 $W_{pre} = 25$ 帧提供运动连续性先验。去噪网络的形式化描述为：

其中 $D$ 是 6 层 Transformer decoder，$X^t$ 是加噪运动，$X^0$ 是已知干净运动，$A$ 是音频特征，$t$ 是扩散时间步。初始窗口的前序部分用可学习的起始特征 $A_{start}$ 和 $X_{start}$ 替代。

Classifier-Free Guidance：训练时以 0.1 的概率将音频条件随机置空（$\varnothing$），推理时使用 CFG 公式增强生成质量：

其中 $\gamma_c$ 是 CFG 尺度参数。一个实用的好处是：通过调节 $\gamma_c$，用户可以在推理时控制运动风格的多样性——较高的 $\gamma_c$ 产生更夸张的表情，较低的 $\gamma_c$ 则更保守。

直接预测干净运动而非噪声：与标准扩散模型预测噪声 $\epsilon$ 再间接恢复信号不同，JoyVASA 的扩散模型直接采样干净运动序列 $X^0$。这一选择使得四重损失函数可以直接在预测值与真实值之间施加约束，而不需要经过噪声预测的间接传导 #Cao-et-al.-2024。配合 velocity loss 和 smooth loss 的多层级约束，模型在生成运动序列的时序一致性上获得了显著优势。 随机截断训练：训练过程中，音频样本的长度会被随机截断。这一策略看似简单，实际上至关重要——它使模型对不同长度的语音序列具有鲁棒性，为滑窗推理时处理不等长音频打下了基础。如果没有这种训练时的数据增强，模型在推理时遇到短于窗口长度的音频段时可能产生不稳定输出 #Cao-et-al.-2024。

训练数据与清洗

训练数据来自三个来源：公开的 HDTF 数据集 #Zhang-et-al.-2021、CelebV-HQ 数据集 #Zhu-et-al.-2022 和团队自建的私有中文高分辨率说话数据集。数据清洗采用三重过滤流水线：

1. 视频质量过滤：使用 QAlign #Wu-et-al.-2023 视频质量评估模型排除低质量样本
2. 唇同步过滤：使用 SyncNet #Chung-et-al.-2016 排除音频-视觉同步分数低的视频
3. 运动幅度过滤：移除头部运动过大的 clips，避免训练中的形变失真

最终获得 5,578 个视频 clips，单个 clip 时长从 8 秒到数分钟不等。为平衡三个数据集的样本量，训练时采用 oversampling 策略确保每个数据集贡献可比的样本量。

损失函数设计

JoyVASA 的扩散模型直接预测干净运动序列 $X^0$（而非噪声 $\epsilon$），配合四重损失施加多层级约束：

• Sample Loss $\mathcal{L}_{sample}$（权重 1.0）：预测运动与真实运动的 $L_2$ 距离，位置级精度约束
• Velocity Loss $\mathcal{L}_{vel}$（权重 $\lambda_{vel}=5.0$）：相邻帧速度差的 $L_2$ 距离，最高优先级，确保帧间运动连续
• Smooth Loss $\mathcal{L}_{smooth}$（权重 $\lambda_{smooth}=0.5$）：加速度级约束，惩罚剧烈变化
• Expression Loss $\mathcal{L}_{exp}$（权重 $\lambda_{exp}=0.1$）：专门针对关键点位移 $\delta$ 的损失，聚焦唇部运动和面部表情

从权重数值可以推断优先级为：速度一致性 > 位置精度 > 平滑性 > 表情细节。velocity loss 的权重高达 5.0，反映了作者对时序连续性的极端重视——这也直接呼应了 Part 2 中分析的"短帧困境"问题。

训练配置披露

值得注意的是，整个第二阶段只需训练一个轻量的 6 层 Transformer——外观编码器、运动编码器和渲染器全部来自第一阶段的 LivePortrait 且冻结不更新。这使得训练成本远低于端到端扩散方法。

推理时，JoyVASA 的管线分为四步：

Step 1：提取参考特征。从输入参考图像 $s$ 中，外观编码器提取 $f_{face}$，运动编码器提取源运动参数 $[x_c, R_s, \delta_s, t_s, s_s]$。这一步只需要做一次。 Step 2：音频驱动运动生成。wav2vec2 从输入音频提取特征序列，然后扩散模型以滑动窗口方式逐段生成运动序列 $X^0 = \{X^0_1, \ldots, X^0_N\}$。每个窗口生成 $W_{cur}=100$ 帧（4 秒 @ 25fps）的运动参数，前 $W_{pre}=25$ 帧作为下一个窗口的历史先验。这种滑窗策略使得模型可以生成远超训练窗口长度的长视频，突破了端到端方法通常只能生成 0.4 秒的瓶颈。 Step 3：计算目标关键点。利用第一阶段训练的变换公式，将规范关键点 $x_c$ 与生成的目标运动参数 $[R_d, \delta_d, t_d, s_d]$ 组合： Step 4：Warp + Render。基于源关键点 $x_s$ 和目标关键点 $x_d$ 的差异，对 3D 面部外观特征 $f_{face}$ 执行 warp 变换，然后由 LivePortrait 的生成器渲染最终输出帧。具体来说，warp 操作计算每对源-目标关键点的位移场，将该位移场应用到外观特征图上，使静态的面部几何"变形"为目标运动状态。生成器随后将 warp 后的特征解码为像素级图像。由于外观特征 $f_{face}$ 在整个过程中保持不变，身份一致性得到了天然保证——无论运动序列如何变化，面部纹理和结构始终来自同一参考图像 #Guo-et-al.-2024。

关于推理速度，论文未给出精确的 latency 或 throughput 数值。但可以推断：6 层 Transformer（dim=512）的去噪网络在单个窗口内（100 帧）的推理开销远低于端到端扩散模型处理同等帧数的 UNet——前者操作在低维运动参数空间，后者操作在高维像素/latent 空间。实际推理瓶颈更可能出现在 LivePortrait 的逐帧渲染环节，而非扩散采样环节。

实验配置

主实验结果：celebV-HQ 测试集

JoyVASA 在有 ground truth 的 celebV-HQ 测试集上取得了最低的 FVD-25 分数（459.04），比第二名 Hallo（558.96）低了约 18% #Cao-et-al.-2024。FVD 衡量的是生成视频的时序分布与真实视频分布的距离——这个指标最优说明 JoyVASA 生成的视频在整体时序连贯性和自然度上确实领先。Smoothness 达到 99.60%，仅次于 AniPortrait 的 99.66%。

但在 IQA/VQA 图像/视频质量评分上，JoyVASA（68.97/72.42）落后于 AniPortrait（74.85/78.00）。Sync-C 也不如 JoyHallo 的 6.36。这反映了一个 trade-off：解耦设计换来了更好的时序一致性（FVD），但单帧渲染质量受限于 LivePortrait 生成器的上界。

消融实验

论文未提供正式的消融实验。从实验结果和方法设计可以推断的关键结论是：velocity loss（$\lambda_{vel}=5.0$）和滑窗策略是 FVD 指标领先的主要贡献因素，但这一推断缺乏逐组件去除的定量验证。论文也未给出不同 CFG 尺度 $\gamma_c$ 的系统对比，仅在定性结果中提到可调节。

Openset 测试集：跨域泛化

Openset 的结果进一步印证了 JoyVASA 的优劣势分布。IQA/VQA 差距更大（71.45 vs AniPortrait 的 81.84），因为开放域图像包含动漫、动物等非人脸内容，LivePortrait 的泛化能力不如端到端方法的像素级渲染。

跨物种驱动：JoyVASA 的独特能力

这是 JoyVASA 最引人注目的特性。由于扩散模型在生成运动时完全不"看到"图像，同一套音频→运动映射可以直接应用于：人类肖像、动漫角色、手绘艺术品、甚至动物面部。这在端到端方法中很难实现——EMO 和 Hallo 的扩散模型深度耦合人脸先验与参考动作条件，在动物图片上的适用性极为有限。

作者也坦诚承认了代价：因为运动与身份解耦，不同角色在同一段音频下可能产生相似的表情模式。但通过调节 CFG 权重 $\gamma_c$，可以获得不同风格的运动结果。

失败案例与局限

• 大姿态退化：LivePortrait 在大头部姿态时性能下降，这是生成质量的上界瓶颈，作者明确承认 #Cao-et-al.-2024
• 表情趋同：不同角色对同一音频可能产生相似表情，需手动调节 CFG 缓解
• Retargeting 不适用：LivePortrait 的跨身份 retargeting 模块在纯音频驱动场景下不可用

竞品定位对比

可操作的启发

1. 解耦路线在 FVD 上有结构性优势：JoyVASA 的 FVD-25 比所有端到端方法都低，说明"先生成运动再渲染"的管线在时序一致性上确实更优。如果你的应用场景更看重"自然流畅"而非"单帧清晰度"，解耦路线是更好的选择。
2. 冻结预训练编码器是降本利器：wav2vec2 和 LivePortrait 编码器全部冻结，只训练 6 层 Transformer 的 20k steps——这是工程上非常务实的设计，训练成本极低。
3. velocity loss 的权重设计值得借鉴：$\lambda_{vel}=5.0$ 是四个 loss 中最高的，反映了作者对时序连续性的优先级判断。在做任何序列生成任务时，速度一致性约束都是减少抖动的第一道防线。
4. 身份解耦的 trade-off 需要正视：跨物种驱动是亮点，但单帧质量的损失也是真实的。在数字人产品中，如果只需要驱动真人肖像，端到端方法可能仍然是更优选择。

未来方向

作者提到的改进路线包括：用 EMOPortrait #Drobyshev-et-al.-2024 替代 LivePortrait 以增强大姿态鲁棒性、优化实时推理能力、以及引入更精细的表情控制机制。这些方向与数字人领域的整体演进趋势一致——从"能生成"到"生成得好"再到"可控地生成"。