Wan-Streamer

人类与物理世界的交互本质上是流式和全双工的：我们不会先完成感知、再隔离推理、最后产出响应。相反，我们持续地观看、倾听、说话、手势、反应、暂停和打断——感知与表达在音视频时间尺度上重叠。构建具有相同交互模式的人工系统，对于具身助手、实时数字人、直播、交互式娱乐和可在线探索的世界模型越来越重要。#wan-streamer

图 1：Wan-Streamer 架构总览。语言、音频和视频作为输入和输出在单个 Transformer 中建模，使用 block-causal attention 实现增量流式生成（来源：Wan-Streamer, Fig.1）

传统实时对话系统采用级联架构：VAD（语音活动检测）→ ASR（语音识别）→ LLM（语言模型）→ TTS（语音合成）→ Avatar（数字人渲染）。这种管线存在三个根本性问题：(1) 模块边界引入累积延迟，通常总延迟在 1-3 秒；(2) 文本作为中间表示丢失了非语言信息（情绪、语调、表情）；(3) 基于轮次分割的 turn-taking 无法处理打断、重叠和插话等自然对话行为。#wan-streamer

核心困难：全双工 ≠ 理解 + 生成

Wan-Streamer 指出，实时音视频交互不仅仅是多模态理解和多模态生成的并集。它具有三个内在约束，使得围绕离线编码器、双向视频解码器、轮次对话或事后音视频同步设计的系统无法通过工程修补恢复真正的低延迟全双工行为。

Wan-Streamer 的架构设计遵循一条核心原则：整个技术栈从头到尾都是因果的。这不是在现有非因果模型上叠加流式推理的工程适配，而是从 VAE 到 Transformer 到解码器的每一层都重新设计为因果版本。

3.1 形式化：流式自回归过程

在第 $k$ 个流式单元中，用户观测被定义为三元组 $u_k = (u_k^{\mathrm{t}}, u_k^{\mathrm{a}}, u_k^{\mathrm{v}})$（语言、音频、视频），agent 响应同样为三元组 $y_k = (y_k^{\mathrm{t}}, y_k^{\mathrm{a}}, y_k^{\mathrm{v}})$。整个交互过程建模为：

graph TD
    subgraph Input["输入流 (用户)"]
        Ut["文本 u_k^t"]
        Ua["音频 u_k^a"]
        Uv["视频 u_k^v"]
    end
    subgraph CausalVAE["因果 VAE"]
        AEnc["因果编码器"]
        ALat["连续 Latent"]
    end
    subgraph Transformer["Block-Causal Transformer"]
        Emb["交错嵌入序列"]
        BCA["Block-Causal Attention"]
        NTP["Next-Token Prediction"]
        CFM["Conditional Flow Matching"]
    end
    subgraph Output["输出流 (Agent)"]
        Yt["文本 y_k^t"]
        Ya["音频 y_k^a"]
        Yv["视频 y_k^v"]
    end
    Ut --> Emb
    Ua --> AEnc
    Uv --> AEnc
    AEnc --> ALat --> Emb
    Emb --> BCA
    BCA --> NTP --> Yt
    BCA --> CFM --> Ya
    BCA --> CFM --> Yv
    style Input fill:#e3f2fd
    style CausalVAE fill:#fff3e0
    style Transformer fill:#f3e5f5
    style Output fill:#e8f5e9
  

这个分解的关键在于：每个时间步 $k$ 内，$y_k^{\mathrm{t}}$、$y_k^{\mathrm{a}}$、$y_k^{\mathrm{v}}$ 是联合生成的，不进一步分解为串行依赖。三种模态的输出同时 conditioned on 相同上下文，它们之间的耦合通过共享的 Transformer 注意力实现。这对于全双工交互至关重要：如果语音和视觉是串行生成的，那么视觉总是滞后于语音，无法实现自然的唇形同步和表情-语调协同。

3.2 因果音频/视频 VAE

3.3 Block-Causal Transformer

这是 Wan-Streamer 最核心的架构创新。序列的表示方式是交错的（interleaved）：视觉输入 token、音频输入 token、文本输入 token、视觉输出 token、音频输出 token、文本输出 token 按照时间顺序排列在同一条序列上。

3.4 条件流匹配（Conditional Flow Matching）

文本响应通过 next-token prediction 的交叉熵损失训练。音频和视频响应通过条件流匹配联合训练。对于模态 $m \in \{\mathrm{a}, \mathrm{v}\}$，线性插值路径定义为：

其中 $z_0^m$ 是从 VAE 编码器得到的 clean target latent，$\epsilon^m \sim \mathcal{N}(0, I)$ 是高斯噪声，$\tau \in [0, 1]$ 是流时间。这是一个线性插值路径（Rectified Flow 风格），速度场为常数向量场，使得 ODE solver 可以用更少步数精确积分。

联合流匹配损失为：

其中 $f_\theta$ 是统一的 block-causal Transformer，$c_k = \{u_{\le k}^{\mathrm{t}}, u_{\le k}^{\mathrm{a}}, u_{\le k}^{\mathrm{v}}, y_{\lt k}^{\mathrm{t}}, y_{\lt k}^{\mathrm{a}}, y_{\lt k}^{\mathrm{v}}\}$ 是 clean streaming context。三个关键设计要点：

• Cross-modal conditioning：$f_\theta$ 的输入同时包含两种模态的 noisy latent（$z_\tau^{\mathrm{a}}$ 和 $z_\tau^{\mathrm{v}}$），音频去噪可以看到视频 noisy 状态，反之亦然。这使得模型学到嘴型运动与语音韵律的同步、表情变化与语调变化的协同。
• Clean context：$c_k$ 是 clean 的，只有当前正在生成的 $z_\tau^m$ 是 noisy 的。这避免了噪声在历史上下文中的累积，保证长程交互的稳定性。
• 耦合优化：同一个 $f_\theta$ 同时预测两种模态的速度场，音频生成和视频生成不是两个独立任务，而是在同一模型内联合优化的耦合过程。

Wan-Streamer 的训练分为三个阶段，逐步从独立能力构建到端到端交互再到实时部署优化。

Stage 1：独立任务预训练

从预训练语言模型（#qwen Qwen2.5 / Qwen3）初始化统一 Transformer，在其周围构建多模态接口（因果音频/视频编码器、因果 VAE），在混合数据上联合训练。

两类任务在预训练阶段就是混合训练的——感知、语言推理和 latent 生成需要在同一个序列模型中对齐，如果分开训练，后续的对齐成本会很高。

Stage 2：端到端交互训练

使用专门的双工交互数据（duplex interaction data），其中用户的文本/音频/视频输入和 agent 的文本/音频/视频输出被交错排列在同一条因果流中。这一阶段将 Stage 1 中学到的独立能力适配到目标实时交互场景。

模型必须学会七项关键能力：(1) 从当前用户观测即时更新状态；(2) 生成同步的语言、音频和视频响应；(3) 将生成的 clean latent 提交回历史以供后续使用；(4) 学习响应时序；(5) 学习主动倾听行为（非言语反馈）；(6) 学习打断处理；(7) 学习长上下文一致性（身份、场景状态、对话连贯性）。这些能力在与推理时完全相同的因果格式下学习，大大减少了 train-test mismatch。

Stage 3：低延迟蒸馏

将更强的教师模型（使用 classifier-free guidance + 更多 flow-matching solver steps）蒸馏为高效的部署学生模型。两个关键技术：

训练配置披露

虽然 Wan-Streamer 在训练时是一个端到端的统一模型，但在推理部署时拆分为 thinker 和 performer 两个进程，分别运行在不同 GPU 上，以最大化硬件利用率和流水线重叠。

图 2：Thinker-Performer 流式推理时序图。在 unit $k$，thinker 编码当前用户观测 $u_k$、更新 KV cache、解码前一步响应 latents $y_{k-1}$ 立即发射；performer 接收当前 KV slice 并仅运行 flow-matching solver 生成下一个 clean latent $y_k$，下一步返回给 thinker（来源：Wan-Streamer, Fig.2）

5.1 Thinker 与 Performer 的职责分离

5.2 四路重叠调度

这一分离的关键洞察是：flow-matching solver 最耗时但不需要运行解码器；解码器需要算力但不需要运行 solver。将两者分配到不同 GPU 上，可以在时间上重叠。

在流式步骤 $k$ 的通信边界处，四路工作并行执行：

• 当前帧感知/状态更新（Thinker）：编码 $u_k$，token-causal 解码产出 KV slice
• 上一帧音视频解码（Thinker）：解码 performer 返回的 $y_{k-1}$ latents 为输出
• KV/latent 通信（双向）：Thinker → Performer 发送 KV slice；Performer → Thinker 发送上一步 latents
• 下一帧 latent 去噪（Performer）：用收到的 KV cache 运行 flow-matching solver 生成 $y_k$

5.3 延迟分解与实时条件

• Encoding：因果音视频编码器处理 160ms 用户单元
• Thinker state update：token-causal Transformer pass
• Performer latent generation：flow-matching solver
• Decoding：因果音视频解码器渲染输出

Wan-Streamer 的实验部分主要聚焦于延迟对比和定性行为分析，而非传统的定量质量评估（如 FID/FVD/PESQ/WER）。

6.1 响应延迟对比（Tab.1）

论文强调：表格应按测量边界而非最小原始数字来阅读。部分公开系统报告的是模型内部、首包、endpointing 或 API TTFB 延迟，不一定对应远程用户感知的延迟。几个 omni-modal 系统接受音频或视频输入但不闭环同步视觉输出。

6.2 视觉 Agent 运行时对比（Tab.2）

论文将视觉系统分为两组：全循环/交互式数字人系统（更接近交互范围，但通常仅报告 FPS 或定性延迟声明）和 avatar 渲染/联合音视频生成组件（有更清晰的渲染侧指标，但假设外部对话/语音模块）。

6.3 自然性与全双工行为

6.4 实验配置披露

7.1 竞品全景对比

Wan-Streamer 的独特定位是：唯一在单一因果 Transformer 中闭环六路（文本/音频/视频 × 输入/输出）的系统，在同等延迟下额外提供同步视觉输出。

7.2 局限性与未来方向

• 192p 输出分辨率：当前 v0.1 仅在初步 192p 分辨率上验证，定位为 proof of concept。论文声称"扩展到更高分辨率是直接的"，但未提供任何高分辨率实验数据。
• 缺乏定量质量评估：全文仅有延迟对比表格，没有 FID、FVD、PESQ、WER 等生成质量指标。
• 缺乏消融实验：未报告因果 VAE、block-causal attention、蒸馏、rolling distillation 各组件的独立贡献。
• 关键实现细节缺失：VAE 架构、Transformer 规模、训练超参数、数据规模均未公开，独立复现极为困难。
• 延迟度量不统一：Tab.1 和 Tab.2 大量标注"N/R"，说明跨系统的公平比较本身就很困难。

7.3 可操作启发

• 流式性是建模约束而非服务优化：围绕离线编码器/双向解码器/轮次对话设计的系统无法通过工程修补恢复全双工行为——必须从一开始就设计因果性。
• 统一模型 > 模块级联：将语言理解、语音生成、视觉生成放在同一个 Transformer 中联合训练，使跨模态同步成为训练的内在结果而非事后修复。
• Thinker-Performer 分离是一个值得借鉴的部署范式——在不改变模型语义的前提下，通过 KV-cache 交换将耗时计算分配到不同硬件上重叠执行。
• Rolling distillation + Self-forcing 是解决长程生成退化的有效策略：在训练时就暴露于自身生成的累积误差。
• Wan 系列的战略延伸：从离线视频生成（Wan2.1/2.2）到实时交互（Wan-Streamer），展示了视频生成基础模型向交互方向演进的清晰路径。