BitDance

• Tokenizer 重建：16× downsample、$2^{32}$ codebook 的 BitDance-Tok PSNR 24.90，超过 SD-VAE 23.54；32× downsample、$2^{256}$ codebook 的 BitDance-Tok PSNR 25.29，超过 DC-AE 24.81。
• 采样头消融：Token Cls Head OOM；Bit-wise Cls Head FID 8.37；Binary Diff Head FID 1.79。
• 并行生成：BitDance-B-16x 用 260M 参数、16 steps、90.26 img/s 达到 FID 1.91；RandAR-XXL 用 1.4B 参数、88 steps、10.39 img/s，FID 2.15。
• 高分辨率成本：1024×1024 文生图单 H100 bfloat16 延迟，BitDance 12.4s，NextStep-1 402s，GLM-Image 53.2s。

输入到输出链路如下：

1. 图像输入经 visual tokenizer 编码成 latent token。
2. LFQ 对每个 latent channel 做二值化，形成 binary visual tokens。隐式码本为 $\mathcal{C}_{LFQ}=\{-1,1\}^d$。
3. 对图像 token 按 patch-wise raster scan order 展平。若 patch size 为 $p$，每个 AR step 生成 $p^2$ 个 token。
4. AR Transformer 接收文本 token、分辨率 token、已生成 visual token。文本到图像场景中，基础模型为 Qwen3-14B。
5. 对下一个 token/patch 的 hidden states，binary diffusion head 通过 Rectified Flow 学习从高斯噪声到 binary token 的速度场。
6. 推理时用 Euler solver 迭代，再用 $\operatorname{sign}$ 投影回 $\{-1,1\}$，最后由 decoder 还原图像。

图 4：BitDance 整体架构。图像经 tokenizer 编码为 binary latents，再按 patch-wise raster scan flatten 成一维序列；vision tokens 由 next-patch diffusion 建模，利用 binary diffusion head 做高效精确的并行预测。

原文公式（1）：

解释：给定编码器输出 $x\in\mathbb{R}^d$，LFQ 直接逐通道取符号，把连续 latent 投影到二进制超立方体顶点。

原文公式（2）：

解释：entropy loss 用于防止 codebook collapse 并最大化信息容量。标准 LFQ 需要计算 $q(x)$ 与整个码本空间的相似度；当 vocabulary size 随 $2^d$ 指数增长时，内存成本变得不可接受。BitDance 采用 group-wise LFQ，把 $d$ 个 channel 分成 $g$ 组计算 entropy，从而支持 $2^{256}$ codebook size。

采样瓶颈来自完整分类头的指数级输出。对 $d$-bit token，标准分类头参数量为 $h\times 2^d$；$h=1024,d=32$ 时约 4.4T 参数。BitDance 改为把 binary token 当成连续空间中的点，学习条件分布 $p(x\mid z)$。

原文公式（3）：

解释：这是 binary diffusion head 的 velocity-matching loss。这里 $x_t=tx+(1-t)\epsilon$，$\epsilon\sim\mathcal{N}(0,I)$，$v_t=x-\epsilon$。模型在 AR hidden state $z$ 条件下预测从噪声到 binary token 的速度。

原文中还给出速度参数化：

解释：$f_{\theta}$ 是 $x$-prediction network，直接预测 clean binary latent，再换算成速度场。

原文公式（4）：

解释：推理时从 $x_0\sim\mathcal{N}(0,I)$ 出发，用 $N$ 个均匀 Euler steps 积分，$\Delta t=1/N$。最后执行 $x_1=\operatorname{sign}(x_1)$，把连续预测投影回 binary hypercube。

图 9：Binary diffusion head 在不同 timestep 的输出分布。当 $t$ 小（噪声大）时预测值多聚集在 0 附近；随着 $t$ 增大，预测逐渐向 -1 和 1 分离，说明模型即使没有手工设计离散约束，也学到了 binary discrete distribution 的结构。

标准 AR 分解为原文公式（5）：

解释：逐 token 预测，质量稳定但推理慢。

BitDance 把序列分成 $M$ 个 patch，$x=[X_1,X_2,\ldots,X_M]$，每个 $X_m=\{x_m^1,x_m^2,\ldots,x_m^{p^2}\}$。并行 AR 分解为原文公式（6）：

解释：生成单位从单个 token 变成一个 patch；patch 间保持自回归，patch 内联合建模。

原文公式（7）：

解释：这是公式（3）的多 token 版本。$X\in\mathbb{R}^{p^2\times d}$ 是一个 patch 内的 ground-truth tokens，$Z\in\mathbb{R}^{p^2\times h}$ 是对应 hidden states。binary diffusion head 被扩展为联合预测一个 patch 的多个 tokens。

• Group-wise LFQ：不在完整 $2^d$ 空间上计算 entropy，而按组计算，缓解内存问题。
• Hard binarization：采样末尾执行 $x_1=\operatorname{sign}(x_1)$，把连续解吸附回二进制顶点。
• Lightweight DiT head：binary diffusion head 的预测网络 $f_{\theta}$ 采用轻量 DiT 架构，用于建模 $p^2$ tokens。
• Block-wise causal attention mask：patch 内 token 相互可见，patch 间保持因果。
• Learnable prefix tokens：为了同时预测初始 patch 的所有 tokens，引入 $p^2-1$ 个 learnable prefix tokens。
• Resolution tokens：文本到图像中在 visual tokens 前加入 [res_i] 和 [res_j]，支持可变分辨率和宽高比。

• 主数据集：DataComp-1B [22]
• 额外数据：高质量 face 和 text datasets，用于改善特定域重建
• 分辨率：256×256
• 训练步数：400K steps
• Batch size：1024
• 架构：pure CNN tokenizer
• 配置：16× downsample + $2^{32}$ codebook；32× downsample + $2^{128}$ codebook；32× downsample + $2^{256}$ codebook
• 计算成本：训练硬件、GPU 数量、总训练时长原文未明确说明

• 数据集：ImageNet-1K，256×256
• 模型尺寸：BitDance-B/L/H 分别为 24/32/40 Transformer blocks，width 分别为 768/1024/1280
• Binary diffusion head：blocks 分别为 6/8/12，width 保持一致
• Tokenizer：16× downsampling binary tokenizer trained on ImageNet
• 训练轮数：800 epochs；消融实验训练 400 epochs
• Optimizer：AdamW，$\beta=(0.9,0.95)$
• Weight decay：0.05
• Batch size：1024
• LR schedule：cosine learning rate schedule
• Warmup steps：20K
• EMA decay：0.9999
• 计算成本：吞吐评测在单 A100、batch size 64、bfloat16 precision 下进行；训练硬件和总训练时长原文未明确说明

模型设计：采用 pretrained Qwen3-14B 作为 base AR model；visual tokenizer 选择 16× downsampling；patch size $p=4$，每步并行预测 $p^2=16$ tokens；加入 2D sinusoidal positional embeddings，保留 LLM 的 1D RoPE。

输入格式：

[bos], {text tokens}, [boi], [res_i], [res_j], {visual tokens}, [eoi], [eos]

训练流程：PT → CT → SFT → optional Distill。PT 和 CT 数据来自 LAION 等开源数据；SFT 数据来自开源数据和少量由 Seedream、Z-Image-Turbo 等模型生成的高质量图像；保留少量 image-to-text 数据维持 LLM 文本理解能力。

• Optimizer：AdamW，$\beta_1=0.9,\beta_2=0.95,\epsilon=1.0\times10^{-15}$
• LR scheduler：constant
• Weight decay：0.0
• Gradient norm clip：1.0
• Loss weight：text : vision = 0.01 : 1，即 vision loss 主导
• Visual tokenizer：frozen
• Trainable parameters：除 visual tokenizer 外全部 trainable
• Distill：从 16-token parallel prediction, $p=4$，蒸馏到 64-token parallel prediction, $p=8$
• 计算成本：文生图使用 14B 参数模型；1024×1024 latency 在单 H100 GPU、bfloat16 precision 下测量。训练硬件规模、GPU hours、wall-clock time 原文未明确说明

1. Tokenizer reconstruction：ImageNet 256×256 validation set；指标 PSNR、SSIM、compression ratio
2. ImageNet class-conditional generation：ImageNet-1K 256×256；指标 FID、IS、Precision、Recall；使用 OpenAI TensorFlow-based evaluation toolkit
3. Parallel generation efficiency：ImageNet 256×256；吞吐在单 A100、batch size 64、bfloat16 precision 下测量
4. Text-to-image：GenEval、DPG-Bench、OneIG-EN、OneIG-ZH、TIIF Bench testmini；同时比较 1024×1024 生成延迟
5. Ablation：ImageNet 256×256，BitDance-B backbone，训练 400 epochs，按 best classifier-free guidance scale 评估

Latency measured using single H100 GPU with bfloat16 precision.

1. 重建质量：BitDance-Tok 证明二进制离散 token 可以追上甚至超过连续 VAE。16× 下 $2^{32}$ codebook PSNR 24.90，优于 SD-VAE 23.54；32× 下 $2^{256}$ codebook PSNR 25.29，优于 DC-AE 24.81。
2. ImageNet class-conditional generation：BitDance-H-1x 以 1.0B 参数达到 FID 1.24、IS 304.4、Precision 0.81、Recall 0.64。在 AR 模型中是最强结果之一，同时仍使用 raster-order 标准 AR。
3. 并行生成：BitDance-B-4x 用 260M 参数、64 steps、24.18 img/s 达到 FID 1.69；BitDance-B-16x 进一步到 16 steps、90.26 img/s，FID 1.91。相比 RandAR-XXL 的 1.4B、88 steps、10.39 img/s、FID 2.15，BitDance 以 5.4× 更少参数获得 8.7× 吞吐加速，并且 FID 更低。
4. 文生图：BitDance 在 DPG-Bench 88.28、GenEval 0.86、OneIG-EN 0.532、OneIG-ZH 0.512。在多个 benchmark 上于 autoregressive models 中达到 SOTA；其中 TIIF testmini 为 AR 模型中第二；相对 proprietary/diffusion models 则为 comparable，但并非全面最优。文生图训练阶段使用少于 450M image-text pairs，tokenizer 预训练另用 DataComp-1B，论文据此强调数据效率。

消融使用 BitDance-B backbone，在 ImageNet 256×256 上训练 400 epochs。

重要细节：论文还报告 diffusion sampling steps 的影响，图 8 显示 binary diffusion head 用 as few as 10 steps 就能得到较好结果。这说明二进制目标空间的有限顶点结构降低了采样难度。

SFT 到 distilled 的并行数提升：

这说明从 16-token parallel prediction 蒸馏到 64-token parallel prediction 后，DPG-Bench 基本不掉，GenEval 只从 0.86 到 0.85。

1. 小 Transformer 难以利用大词表：图 6 明确指出，对于 large vocabularies，small Transformers struggle to converge；scaling vocabulary size requires concurrent expansion of Transformer size。因此 $2^{256}$ 不是免费午餐，模型容量不足时反而难训练。
2. Token classification head 直接不可用：表 13 中 Token Cls Head 为 OOM。这个失败不是质量下降，而是参数/显存层面无法运行。原文例子 $h=1024,d=32$ 已达到约 4.4T 参数。
3. Bit-wise independence 失败很明显：表 13 中 Bit-wise Cls Head FID 8.37、IS 174.5，远差于 Binary Diff Head FID 1.79、IS 290.5。说明 binary token 的 bit 之间相关性很强，强行拆独立会造成采样精度崩塌。
4. 高并行蒸馏仍有轻微能力损失：SFT 16 tokens/step 的 GenEval 为 0.86，Distilled 64 tokens/step 为 0.85。DPG-Bench 不降反升到 88.30，但 GenEval 有 0.01 下滑，说明更高并行度并非完全无损。
5. 长序列/高分辨率训练细节披露不足：训练硬件规模、GPU hours、wall-clock time、per-GPU batch size 原文未明确说明；这会影响复现成本评估。
6. 文生图仍非所有指标最强：OneIG-ZH Overall 为 0.512，低于 Qwen-Image 0.548 和 Z-Image 0.535；GenEval 0.86 低于 BAGEL 0.88、Qwen-Image 0.87。这说明 BitDance 的 AR 路线很强，但并未全面超过扩散/商业模型。