从自身 Latents 学习，而非 Tokens

扩散模型能生成以假乱真的图像，大语言模型能掌握语法、世界知识与推理能力。但这两类生成模型共享同一个配方：在原始信号的层面——像素或 token——进行大规模预测。这个配方带来的成功，伴随着一个生物学习者无需付出的代价：前沿 LLM 的训练数据量达到 $10^{13}$–$10^{14}$ 个 token，比儿童在达到成人水平前接触到的语言输入多出超过五个数量级；SOTA 扩散模型 likewise 依赖数十亿张图像。

这个差距指向一个根本性问题：token-level 预训练在样本效率上远非最优。一个自然假设是，学习可能不是在原始 token 层面最高效地发生，而是在更抽象的潜在空间中。事实上，近年来一系列方法——从 BYOL、DINO 到 data2vec 和 JEPA——都在践行同一个思想：让网络预测自身的潜在表示（latent representations），而非原始输入的重建。这与计算神经科学中的预测编码理论不谋而合：皮层所寻求的，是预测其自身的未来活动。

本文解读的是 Korchinski、Favero 与 Wyart 于 2025 年 5 月发表在 arXiv 上的理论工作 #Korchinski et al., 2025。作者选择了一个可精确解析的合成数据模型——Random Hierarchy Model (RHM)——来定量回答上述问题。核心结论极具冲击力：对于具有层次潜在结构的数据，监督学习需要 $\sim m^L$ 样本，token-level 自监督学习需要 $\sim m^{L+1}$ 样本，而从自身 latents 学习仅需 $\sim m^3$ 样本——与树深度 $L$ 无关，仅含对数因子。这意味着 latent prediction 在理论上可以将样本复杂度从指数级降低到常数级。

论文还通过分析 data2vec 首次证明：单个 latent-prediction 模块已隐式执行多尺度层次发现，从而对显式堆叠架构（如 H-JEPA）的必要性提出了根本性质疑。

要理解为什么 token-level 学习样本效率低，我们需要一个能精确控制层次结构的合成数据模型。作者沿用了他们此前提出的 Random Hierarchy Model (RHM) #Cagnetta et al., 2024，一个简化的概率上下文无关文法（PCFG）。

RHM 的生成规则

RHM 定义在一棵固定的正则树上：深度为 $L$，分支因子为 $s$，每一层 $\ell = 0, 1, \ldots, L$ 都有一个大小为 $v$ 的词汇表 $\mathcal{V}_\ell$。第 0 层是可见层（visible tokens），第 1 到 $L$ 层是潜在层（latent symbols）。可见序列长度为 $s^L$。

生成过程自上而下：根节点 $h_1^{(L)}$ 从 $\mathcal{V}_L$ 均匀采样；若父节点 $h_u^{(\ell+1)} = a$，则其子元组 $T_u^{(\ell)} = (h_{(u-1)s+1}^{(\ell)}, \ldots, h_{us}^{(\ell)})$ 从规则集 $\mathcal{R}_{\ell,a}$ 中均匀采样。每个规则集包含 $m$ 个不同的 $s$-元组，整个文法通过从 $\mathcal{V}_\ell^s$ 中无放回地选取 $vm$ 个元组并划分为 $v$ 个大小为 $m$ 的组来随机生成。关键参数 $f = m / v^{s-1}$ 表示合法元组在所有可能元组中的比例。

统计信号：Connected Correlation

学习同义词不变性的统计信号来自 connected correlation。设 $T^{(\ell)}$ 是一个层级-$\ell$ 的 $s$-元组，$Z$ 是树中另一位置的可观测量：

信号衰减定律

ILC：逐层聚类恢复层次树

1. 初始化：将可见 token 直接作为第 0 层潜在表示，$\hat{h}_i^{(0)} = x_i$。
2. 迭代上升：对每层 $\ell = 0, \ldots, L-2$：
   • 从当前层估计值构造所有层级-$\ell$ 的 $s$-元组 $\hat{T}_u^{(\ell)}$
   • 将观察到的元组集合作为合法元组支持集 $\hat{\mathcal{S}}_\ell$ 的估计
   • 对 $\hat{\mathcal{S}}_\ell$ 中每个元组 $\nu$，统计其出现次数 $N(\nu)$，并计算 empirical cousin context vector：
     $$\hat{\phi}_\ell(\nu) := \frac{1}{N(\nu)} \sum_{p=1}^{P} \mathbf{1}\{\hat{T}_\ell^{(p)} = \nu\} \, e_{\hat{Z}_\ell^{(p)}}$$

     其中 $\hat{Z}_\ell^{(p)}$ 是与 $\hat{T}_\ell^{(p)}$ 共享祖父节点的 cousin tuple 中的固定元素。

   • 使用聚类模块将上下文向量聚为 $v$ 类
   • 将聚类身份作为下一层潜在标签：$\hat{h}_u^{(\ell+1)} = a \iff \hat{T}_u^{(\ell)} \in \hat{\mathcal{S}}_{\ell,a}$
3. 输出：估计的非根层次结构 $\hat{h}^{(1)}, \ldots, \hat{h}^{(L-1)}$。

SLC：端到端的 Latent Prediction 网络

ILC 证明了 latent prediction 在算法层面的样本效率优势，但一个自然的问题是：这个优势能否通过标准的端到端梯度下降训练获得？Stacked Latent Clustering (SLC) 给出了肯定的答案。

SLC 由 $L-1$ 个堆叠的 predictor-clusterer 模块组成，每个模块对应 RHM 的一个层级：

graph TD
  A["Input Tokens h(0)"] --> M0["Module 0"]
  M0 -->|"h(1)"| M1["Module 1"]
  M1 -->|"h(2)"| M2["..."]
  M2 -->|"h(L-2)"| ML["Module L-2"]
  ML -->|"h(L-1)"| OUT["Output"]

  subgraph SLC["Module l Structure"]
    IN["s tokens, dim d_h"] --> PRED["Predictor CNN1-CNN2-CNN3"]
    PRED --> PHI["Prediction phi(l)"]
    PHI --> CLUST["Clusterer CNN4-CNN5-Softmax"]
    CLUST --> Q["Soft Assignment q(l+1), v classes"]
  end

这里的关键设计是 sparse assignment：在 softmax 约束 $\|q_i\|_1 = 1$ 下，通过最大化 $\|q_i\|_2^2$ 鼓励稀疏（one-hot-like）分配，提升训练稳定性和可解释性。

data2vec 隐式执行层次化 Latent Prediction

论文的第三个结果是对 data2vec #Baevski et al., 2022 的首个样本复杂度分析。data2vec 的标准架构包括：学生编码器处理掩码输入（mask probability 0.15），教师编码器处理完整输入（EMA decay $\mu = 0.99$），取顶部 $K=4$ 层表示平均作为目标。

作者的核心发现是：在 RHM 数据上训练时，data2vec 的编码器各层会逐层发现 RHM 的潜在层次结构——较低层先学会表示较低层的潜在变量，较高层再在此基础上表示更高层的潜在变量。这与 SLC 的显式层次化设计在功能上等价，只是隐式地发生在单个深度网络的内部各层中。

作者通过对 data2vec 编码器各层施加线性探针（linear probe）来验证这一发现。探针分析显示：随着训练进行，编码器的低层先获得区分 level-1 同义词的能力，中层随后解锁 level-2，以此类推——一种"自底向上、逐层解锁"的动态与 SLC 的显式模块训练在功能上等价。

三种方法在训练层面呈现出一个有趣的谱系：ILC 是纯粹的无参数统计估计，SLC 是多目标优化的神经网络训练，data2vec 则是标准自蒸馏框架的特例。

ILC：无参数统计估计

ILC 没有可学习的神经网络参数。其"训练"纯粹是统计估计：计算经验上下文向量和聚类。论文假设存在一个稳定的聚类模块 $\text{Cluster}_v$（假设 2），在扰动不超过 $\Delta/8$ 时能完美恢复真实划分。每个合法元组的出现概率约为 $1/(vm)$，因此要保证 $vm$ 个元组都被充分采样，需要 $P \gtrsim vm \log(vm)$ 样本。结合上下文向量的分离尺度 $\Delta \sim \sqrt{(1-f)/m}$，最终得到样本复杂度界。

SLC：多目标梯度优化

SLC 的训练涉及三个同时优化的目标，作者使用 Jacobian descent 结合 UPGrad 算法处理多目标冲突：

data2vec：标准自蒸馏

主实验：样本复杂度 ~m³ 缩放

图 3：ILC 与 SLC 的样本复杂度随 $m$ 的缩放行为。两条曲线均与 $m^3$ 成正比，验证了理论预测（来源：论文, Fig. 3）。

L-scaling：与深度无关

图 12：SLC 在不同树深度 $L$ 下的样本复杂度。所有深度 collapse 到同一条 $m^3$ 曲线上，证明样本复杂度与 $L$ 无关（来源：论文, Fig. 12）。

data2vec：逐层解锁动态

图 5：data2vec 训练过程中的在线学习曲线。编码器各层依次解锁不同层级的潜在变量，验证了隐式层次化发现（来源：论文, Fig. 5）。

图 4（Appendix D / Fig. 13）：data2vec 编码器各层对 RHM 不同层级潜在变量的聚类分数。深层对低层 latent 的聚类能力反而更强（来源：论文, Appendix D Fig. 13）。

消融实验与失败案例

技术对比：三种范式的定位

局限性与边界条件

可操作的启发

总结