MUSE-VL

让大语言模型同时理解和生成图像，是多模态 AI 的「圣杯」。理想方案看似简单：把图像编码为离散 token，与文本 token 一起丢进自回归 Transformer，统一做 next-token prediction。然而，这个愿景在 2024 年之前始终未能兑现——不是 LLM 不够强，而是视觉 tokenizer 的表征质量太差。

数据说明一切。Chameleon [Team, 2024] 用了 14 亿图文对、34B 参数，多模态理解 AVG 仅 41.1%——连专用理解模型 LLaVA-NeXT 34B（66.4%）的一半都不到。瓶颈不在 LLM，而在 tokenizer 的语义缺失。

MUSE-VL 的破局之道出人意料地简单：在量化前，把冻结 SigLIP 的语义特征与图像特征相加。这个「加法操作」让离散视觉 token 天然携带语义信息，彻底改变了统一 VLM 的数据效率和性能天花板。本文将深入解析这一设计背后的洞察、数学原理与工程选择。

理解 MUSE-VL 之前，我们需要厘清三个基础概念的关系。

2.1 VQGAN：视觉的「字母表」

VQGAN [Esser et al., CVPR 2021] 将图像编码为一组离散 token 的「字母表」。其核心是一个编码器 $\text{Enc}$、一个可学习的 codebook $\mathcal{Z} = \{z_k\}_{k=1}^K \subset \mathbb{R}^d$，以及一个解码器 $\text{Dec}$：

VQGAN 的训练目标是图像重建——让 $\hat{x}$ 尽可能接近 $x$。它引入了感知损失（LPIPS）和对抗损失（GAN discriminator）来提升生成质量，但从未考虑语义信息。这导致一个致命问题：codebook 向量 $z_k$ 编码的是「这块区域像什么纹理」，而非「这块区域是什么物体」。

2.2 CLIP / SigLIP：视觉-语言的「翻译官」

CLIP [Radford et al., 2021] 和 SigLIP [Zhai et al., 2023] 在海量图文对上训练了一个视觉编码器和一个文本编码器，使得配对的图像和文本在特征空间中距离很近。这意味着：SigLIP 的图像编码器输出已经包含与语言对齐的语义信息。

2.3 统一 VLM 的两种路线

当前统一视觉理解与生成的大语言模型分为两条路线：

MUSE-VL 走的是离散 token 路线，但试图解决其核心痛点——让离散 token 也能携带语义。

在 MUSE-VL 之前，研究者们尝试了多种方案来解决「离散 token 缺乏语义」的问题。理解这些方案的失败原因，是理解 SDE 设计的关键。

3.1 VQGAN 基线：完全没有语义

Chameleon [Team, 2024] 和 Show-o [Xie et al., 2024] 直接采用预训练 VQGAN tokenizer。它们的训练数据量分别是 1.4B 和 35M，但理解 AVG 仅 33.3% 和 25.1%（部分 benchmark）。问题在于：LLM 需要将「#42号 codebook 向量」映射到「猫」这个概念——这相当于要求 LLM 从零学习整个视觉词典，效率极低。

3.2 VILA-U：对比学习与重建损失的冲突

VILA-U [Tian et al., 2024] 尝试在 tokenizer 训练中加入对比学习损失：用一个文本编码器提取语义特征，然后让视觉 token 与文本特征对齐。它需要 720M 图文对（COYO-700M），且作者承认训练收敛困难——对比损失和重建损失的优化方向冲突，导致训练不稳定。

3.3 TokenFlow：双 Codebook 的复杂度代价

TokenFlow [Chen et al., 2024] 设计了双 codebook 架构：一个 codebook 学语义，一个学像素。这确实能解耦两种信息，但代价是架构复杂度翻倍——需要维护两个 codebook、两个量化路径、两套训练目标。论文没有公开训练数据量，但从架构复杂度来看，工程落地门槛显著高于单 codebook 方案。

3.4 Janus：双编码器的工程妥协

Janus [Wang et al., 2024] 干脆放弃「统一表征」的理想，为理解和生成分别设计独立的编码器：理解用连续 CLIP 特征，生成用离散 VQ token。这确实能在两个任务上都达到不错的效果，但违背统一建模的初衷——模型需要维护两套视觉表示，推理时也要根据任务切换路径。

3.5 问题的本质

上述所有方案的共同假设是：语义和像素信息需要被显式分离。VILA-U 用对比学习分离，TokenFlow 用双 codebook 分离，Janus 用双编码器分离。MUSE-VL 提出了一个反直觉的观点——不需要分离，只需要在正确的地方注入语义。

问题的本质可以归结为：如何让量化后的离散 codebook 向量同时满足两个条件？

• 条件 A（生成）：能解码回高质量图像（像素级 fidelity）
• 条件 B（理解）：与语言 token 在语义空间中对齐（语义级 alignment）

传统 VQGAN 只满足 A，VILA-U 试图同时优化 A 和 B 但损失冲突，TokenFlow 用两套向量分别满足 A 和 B。MUSE-VL 的答案是：用一套向量，但在量化前把语义「写进」特征里。

以下流程图直观展示了各方案解决「语义+像素」双需求的思路差异：

graph TD
  subgraph "方案对比：如何让离散 token 同时满足生成（A）+ 理解（B）？"
    direction LR
    VG["VQGAN
只满足 A
理解极差"]
    VU["VILA-U
对比学习+重建
⚠️ 损失冲突"]
    TF["TokenFlow
双 Codebook
⚠️ 架构复杂"]
    JN["Janus
双编码器
⚠️ 违背统一"]
    MV["MUSE-VL
SDE 单 Codebook
✅ 加法注入语义"]
  end

MUSE-VL 的核心发现可以用一句话概括：

这个思路的本质是知识蒸馏（Knowledge Distillation）——但不是蒸馏到学生模型，而是蒸馏到 codebook 向量。SigLIP 作为「教师」，其语义特征 $T$ 引导量化过程选择更具语义的 codebook 向量 $z_k$，而图像编码器特征 $z$ 确保重建质量不下降。

与 VILA-U 的关键差异在于：

SDE 避免了对比学习的根本矛盾——它不试图直接优化「视觉-文本相似度」，而是利用 SigLIP 已经完成的优化结果。语义信息通过特征加法「隐式注入」，量化后的 codebook 向量自然继承语义属性。

SDE（Semantic Discrete Encoding）是 MUSE-VL 的技术核心。它的设计目标是在不修改 VQGAN 基本架构的前提下，让量化后的离散 token 携带语义信息。

图1：SDE 整体架构（来源：MUSE-VL, Fig. 2）。图像经 SDE Tokenizer 编码为语义感知的离散 token，与文本 token 一起送入自回归 Transformer。

下面这张流程图概括了 SDE 从输入图像到双解码的完整数据流：

graph LR
  subgraph SDE Pipeline
    IMG["🖼️ 输入图像 x"] -->|"图像编码器
(可训练)"| Z["z ∈ R^(h×w×d)
视觉特征"]
    IMG -->|"SigLIP
(❄️ 冻结)"| T["T ∈ R^(h'×w'×d')
语义特征"]
    Z -->|"+"| FUSE["z_fused = T + z
语义融合"]
    T -->|"+"| FUSE
    FUSE -->|"最近邻查找
codebook (K=32768, d=8)"| Q["z_q 离散 token"]
    Q -->|"语义解码器 Dec_s
(ViT, 同 BEITv2)"| SEM["z_s 语义重建
L_sem = 1 - cos(z_s, T)"]
    Q -->|"图像解码器 Dec_i
(ConvNet, 同 VQGAN)"| REC["x̂ 图像重建
L_img = L2 + LPIPS + GAN"]
  end

5.1 编码阶段：双路径并行

对于输入图像 $x \in \mathbb{R}^{H \times W \times 3}$，SDE 同时启动两条编码路径：

值得注意的是，$z$ 和 $T$ 的空间分辨率可能不同。论文使用 SigLIP-SO400m-patch14-384 和 SigLIP-Large-patch16-256 两种配置，输入图像分别 resize 到 384×384 和 256×256，量化后得到 16×16 和 27×27 的 token 网格。

5.2 语义融合与量化——最关键的一步

这是 SDE 与 VQGAN 的根本差异。VQGAN 直接量化 $z$：

而 SDE 在量化前先将语义特征与图像特征融合：

这个设计的精妙之处在于没有引入额外的损失函数。VILA-U 需要对比损失来显式对齐视觉和文本，而 SDE 的语义对齐是通过特征空间的加法「隐式完成」的——codebook 向量的选择被语义特征 $T$ 引导，但训练目标仍然是标准的 VQ 损失和重建损失。

5.3 双解码器：确保双向能力

量化后的 $z_q$ 需要同时服务于理解和生成两个任务。SDE 设计了两个并行的解码分支：

图2：SDE Tokenizer 详细结构（来源：MUSE-VL, Fig. 3）。包含图像编码器、冻结语义编码器、量化层、语义解码器和图像解码器。

5.4 三重损失函数

SDE 的训练目标由三部分组成：

语义损失 $\mathcal{L}_{\text{sem}}$ 最大化重建语义特征与原始语义特征的余弦相似度：

图像重建损失 $\mathcal{L}_{\text{img}}$ 是标准 VQGAN 损失组合：

VQ 损失 $\mathcal{L}_{\text{vq}}$ 是标准向量量化损失（含 stop-gradient）：

5.5 关键超参数

基于 SDE tokenizer，MUSE-VL 构建了一个统一的自回归 Transformer，同时处理视觉和语言 token。

6.1 模型架构

MUSE-VL 的架构极其简洁：它就是一个标准的自回归 LLM，只扩展了 embedding 层（增加 32,768 个视觉 token ID），不修改任何 Transformer 结构。视觉 token 和文本 token 在序列级别完全统一：

文本使用标准的文本 tokenizer（如 Qwen 或 Yi 的 tokenizer）。图像经 SDE 编码为离散 token 序列，前后分别插入特殊 token $\texttt{}$（start of image）和 $\texttt{}$（end of image）标记边界。

6.2 训练三阶段

MUSE-VL 的训练分为三个阶段：

6.3 数据格式：理解与生成

训练数据的组织方式区分理解和生成任务：

6.4 LLM 训练配置

图5：MUSE-VL 多模态理解 benchmark 对比总览（来源：MUSE-VL, Fig. 1 Top）。在多个理解基准上超越 Emu3 等统一模型。

7.1 Tokenizer 对比：SDE 一骑绝尘

所有模型使用相同 LLM (Yi-1.5-9B) 和相同训练数据子集，公平对比 tokenizer 本身的质量：

7.2 统一模型理解能力：里程碑式突破

MUSE-VL 最重要的成果是：离散 token 统一模型的理解能力达到新高度，AVG 70.1% 超越了专用理解模型 LLaVA-NeXT 34B（66.4%）。

7.3 视觉生成质量

图6：MUSE-VL 文生图示例总览（来源：MUSE-VL, Fig. 1 Bottom）。涵盖多种风格和场景的高质量生成结果。

MUSE-VL FID 7.73 超越所有统一模型和 SD-XL，接近专用生成模型 PixArt-α（6.14）。† 表示使用 DALL-E 3 风格 prompt 重写后的结果。

图3：MUSE-VL 7B 文生图示例（来源：MUSE-VL, Fig. 4）。256 分辨率下生成质量已超越 SD-XL。

7.4 数据效率：用最少资源做最多事

MUSE-VL 的数据效率来自 SDE tokenizer 的语义质量——当视觉 token 天然携带语义时，LLM 需要的对齐数据量呈数量级下降。

8.1 语义分支 vs 图像分支

这是最有说服力的消融实验，直接回答「语义分支到底有多大用」：

这个结果揭示了一个深刻的事实：语义信息和像素信息在 tokenizer 中并非竞争关系，而是互补关系。语义分支负责让 LLM「看懂」图像，图像分支负责让 decoder「画好」图像——两者缺一不可，但各自服务的对象不同。

8.2 LLM 和分辨率消融

更高分辨率带来全面提升（384 vs 256: +3.1 AVG），更大模型一致更好，验证了 scale-up 的有效性。Qwen-2.5 整体优于同参数量 Yi-1.5。

8.3 语义编码可视化

图4：语义离散编码可视化（来源：MUSE-VL, Fig. 5）。相同颜色的矩形框表示具有相同语义 ID 的图像块——SDE 自动将语义概念映射到相同的离散 code。

这是最有说服力的定性证据：SDE 的离散 code 能自动对应语义概念。没有显式的语义标签监督，仅通过冻结 SigLIP 的语义特征引导量化过程，离散 token 就能自然地组织成语义一致的簇。

MUSE-VL 的独特之处可以概括为三点：

10.1 当前局限

10.2 未来方向

• 扩大视觉生成训练数据——当前 24M 数据主要用于理解，生成数据可能不足
• 更强大的图像编码器——使用 VAR [Tian et al., 2024] 的多尺度量化或 InternViT [Chen et al., 2024]
• AR 与 Diffusion 原生集成——结合两种范式的优势，如 Transfusion [Lab, 2024] 的路线
• 加入交错图文数据——提升多图理解和 in-context learning 能力