实时语音 AI 与数字人产业图谱

这是数字人系列的第十篇，也是产业图谱篇。前面九篇我们一直在做「向下钻」的事情：从换嘴、运动空间、3DGS/NeRF、扩散基模、整帧生成、流式蒸馏一路讲到算力选型、训练资源、推理资源和 Benchmark。再结合 CyberVerse 这套能把论文拼成可对话产品的源码，这一篇换一个视角，做一次「向上看」——把支撑实时数字人和语音 AI 的整条产业链摊开，画一张市场地图，看看每一层站着哪些公司、它们靠什么吃饭、彼此之间在抢什么。

之所以现在做这件事，是因为 2026 年上半年出现了一个标志性信号：Boson AI 在 2026-06-04 发布了 Higgs Audio v3 TTS，不仅开放了模型权重，还明确说「可以用 SGLang-Omni 来服务」，而 SGLang-Omni 社区随即把它和 Fish Audio S2 Pro、Qwen3-Omni 一起做了推理优化。#Boson-Higgs-v3 #SGLang-Omni 这件事把「模型层」和「推理层」的协同关系摆到了台面上——它不是孤立事件，而是整条产业链正在重新组织的一个缩影。所以这一篇不讲单个模型怎么训练，而讲整张图怎么拼、谁和谁在博弈。

先看整张图：五层技术栈

把实时数字人/语音 AI 拆开，从用户能看到的对话产品，到底层的 GPU，一共是五层。每一层都同时存在开源/开放权重和闭源商业平台两条路线在竞争，这是理解整张图的主线。

flowchart TB
  subgraph L4["L4 · Agent 平台 + 实时通信（拼装成可对话产品）"]
    direction LR
    A1["编排框架
CyberVerse / Pipecat / LiveKit Agents"]
    A2["WebRTC 基础设施
LiveKit / Daily.co"]
    A3["一站式语音 Agent
Vapi / Retell"]
  end
  subgraph L3["L3 · 数字人视频（给声音配上脸）"]
    direction LR
    V1["说话头 / 唇形同步
LivePortrait / MuseTalk / SoulX"]
    V2["企业视频 / 全身
HeyGen / Synthesia / Tavus / D-ID"]
  end
  subgraph L1["L1 · 语音模型（让机器开口说话）"]
    direction LR
    S1["可控 TTS / 声音克隆
Boson / Fish / Qwen3-TTS / ElevenLabs"]
    S2["全双工语音 LLM
OpenAI Realtime / Gemini Live / Seeduplex"]
  end
  subgraph L2["L2 · 推理框架（让模型跑得快又便宜）"]
    direction LR
    R1["通用 LLM serving
SGLang / vLLM / TensorRT-LLM"]
    R2["多模态 / 语音 serving
SGLang-Omni / NVIDIA Riva"]
  end
  subgraph L5["L5 · 云与算力（提供 GPU 燃料）"]
    direction LR
    C1["GPU 硬件
NVIDIA H200 / B200 / GB200"]
    C2["推理云 / Serverless GPU
Baseten / Fireworks / Modal"]
  end
  L4 --> L3
  L4 --> L1
  L3 --> L2
  L1 --> L2
  L2 --> L5
  

图 1：实时数字人/语音 AI 的五层技术栈。上层是用户可感知的产品，越往下越接近基础设施。一个完整的实时数字人产品，往往要把这五层各挑一个供应商拼起来。

这一层是数字人的「声带」。它又分两个子赛道：一是可控 TTS / 声音克隆（把文字变成有情绪、可定制音色的语音），二是全双工语音 LLM（边听边说、能被打断的端到端语音对话）。

可控 TTS / 声音克隆

这个子赛道最热闹，开源和闭源打得难解难分。最新的信号是 Boson 的 Higgs Audio v3：它把 TTS 从「朗读文本」推进到「面向语音 Agent 的实时可控表达层」，强调 inline 标签控制情感、语速、停顿甚至音效，所谓 speaks, not just reads。#Boson-Higgs-v3

全双工语音 LLM

这个子赛道更接近「未来形态」——不是先转文字再合成语音，而是音频原生、能边听边说、能被自然打断。目前主要是大厂闭源在领跑。

模型训出来只是第一步，要在生产里以低延迟、高吞吐、可控成本跑起来，靠的是这一层。对实时数字人来说，这一层直接决定「能不能做到实时」。

有了会说话的声音，还要有会动的脸甚至全身。这一层从「单图说话头」到「企业级全身视频」跨度很大，呈现出鲜明的「开源底层模型 vs 闭源商业平台」分化。

前三层都是「零件」——声音、推理、脸。要变成一个用户能打电话、能视频对话的产品，需要这一层把它们串起来，并解决实时音视频传输（WebRTC）、对话编排、打断、工具调用等问题。

最底层是所有层的燃料。实时数字人对延迟极其敏感，GPU 选型和推理云的成本直接决定产品能不能跑、跑得起跑不起。

把五层拼起来看，整张产业图里有三组最值得关注的博弈关系。

关系一：模型层 ↔ 推理层的开源共生

Boson 把 Higgs v3 权重开放、并明确「可用 SGLang-Omni 服务」，SGLang-Omni 社区又主动为 Fish S2 Pro、Qwen3-Omni 做优化——开放权重 TTS 与开源 omni 推理框架正在形成共生关系。这是对闭源 API（ElevenLabs、OpenAI Realtime）的一次集体反制：你卖 API，我开放权重 + 开源推理栈，让任何人都能自托管。本文开头那个「Boson + SGLang-Omni」的信号，本质上就是这条关系的最新一幕。

关系二：开源中国队 vs 闭源海外队

在数字人视频层尤其明显：底层模型（SoulX、LivePortrait、MuseTalk）几乎全是中国团队开源，而企业视频商业化（Synthesia、HeyGen、Tavus）由海外公司领跑。开源做底座，闭源做产品——这不是谁打败谁，而是产业链上下游的分工。中国团队用开源占据模型生态位，海外公司用 SaaS 占据企业客户和现金流。

关系三：NVIDIA 的全栈渗透

NVIDIA 是唯一一家横跨多层的玩家：L5 卖 GPU（垄断），L2 做 TensorRT-LLM/Triton/NIM，L2-L3 做 Riva/ACE/Audio2Face 数字人微服务，还反向投资 L5 的推理云。算力霸主正在沿着技术栈向上吃，把「卖铲子」变成「卖整条流水线」。

flowchart LR
  subgraph 开源阵营
    B["Boson Higgs v3"]
    F["Fish S2 Pro"]
    Q["Qwen3-TTS"]
    SG["SGLang-Omni"]
    CN["SoulX/LivePortrait/MuseTalk"]
  end
  subgraph 闭源阵营
    EL["ElevenLabs"]
    OAI["OpenAI Realtime"]
    SYN["Synthesia/HeyGen"]
  end
  subgraph 全栈玩家
    NV["NVIDIA
GPU+NIM+Riva+ACE"]
  end
  B -->|"权重开放, 可用其服务"| SG
  F -->|"被优化"| SG
  Q -->|"被优化"| SG
  SG -.->|"自托管反制"| EL
  SG -.->|"自托管反制"| OAI
  CN -.->|"开源底座 vs 闭源产品"| SYN
  NV -->|"全栈渗透 + 投资推理云"| SG
  NV -->|"提供 GPU 燃料"| EL
  

图 2：三组竞合关系。开源阵营围绕 SGLang-Omni 形成共生反制闭源 API；中国开源模型与海外闭源产品形成上下游分工；NVIDIA 横跨全栈并向上渗透。

把整张图落到实际，给三类典型场景一份组合建议（仅供参考，许可证和成本须自行复核）。

这一篇是数字人系列的收尾。回看整个系列：我们从 Survey 序章 出发梳理了实时数字人的技术演进，中间几篇逐条拆解了换嘴、运动空间、3DGS/NeRF、扩散基模、整帧生成、流式蒸馏、算力选型、训练资源和 Benchmark，再到 CyberVerse 源码解读 看了一个真实系统怎么把论文拼成产品，最后用这一篇把视角拉到整条产业链。

如果说前面九篇回答的是「数字人怎么做出来、怎么评估、怎么部署」，这一篇回答的是「数字人这门生意长什么样」。两个视角合起来，才是一张完整的认知地图：往下能看到技术细节，往上能看到产业格局。技术会迭代，公司会起落，但这张五层栈的结构和「开源 vs 闭源」「模型 vs 推理 vs 产品」的博弈逻辑，在可见的未来都还会持续。