数字人论文精读（二十四）：UIKA

想象一下：你只需要用手机自拍一张照片，AI 就能在几秒内生成一个 3D 数字分身——这个分身可以从任意角度观看，能做出任何表情，还能以 220 FPS 实时渲染。这不是科幻，而是 CVPR 2026 Highlight 论文 UIKA 做到的事情。

在远程会议、影视制作、VR/AR 等场景中，创建逼真的 3D 头部头像一直是核心需求。传统方法需要专业级多视角相机阵列 + 长时间的逐身份优化训练，成本高昂且无法泛化。近年来，前馈式（feed-forward）方法开始兴起——它们试图从一张或几张图片中"一次前馈"直接生成头像，无需逐身份训练。但现有方法要么只支持单图输入（大视角下退化严重），要么要求固定数量输入（如必须恰好 4 张），要么虽然支持任意数量却缺乏跨帧的显式对应关系。

UIKA 的答案是：用 UV 映射作为"通用语言"来连接不同视角和表情的图像。通过面部对应估计，它把每张输入图像的像素对齐到 canonical UV 空间，再通过创新的双流注意力（screen + UV）和自自适应融合策略，生成高质量、可实时驱动的 3D Gaussian 头部头像。

论文地址：https://arxiv.org/abs/2601.07603 | 代码：https://github.com/zijian-wu/uika | 项目页：https://zijian-wu.github.io/uika-page/

UIKA 支持从任意数量（单张到多张）的 pose-free 输入图像中一次前馈重建可动画驱动的 3D Gaussian 头部头像（来源：UIKA 论文 teaser）

要理解 UIKA 的价值，我们首先需要看清当前方法的格局与缺口。下表展示了 UIKA 与 SOTA 方法在三个关键维度上的对比：

可以看到，没有任何已有方法在全部四个维度上同时满足：GAGAvatar 和 LAM 虽然支持单图前馈，但大视角下渲染质量显著退化；Avat3r 虽然支持多视角，但要求固定 4 张输入且需要相机标定；GPAvatar 和 PF-LHM 支持任意数量输入，但缺乏跨帧的显式对应关系，导致多视角信息聚合不够可靠——甚至输入图像越多，效果反而可能退化。

反直觉的发现是：问题的核心不在于"多接收几张图"，而在于"如何让不同视角的像素对上号"。不同视角、不同表情的图像在 screen space 中天然没有对齐——左上角的一个像素在第一张图里是左眼，在第二张图里可能是额头。这就是为什么简单地把多张图的特征 concat 起来做 attention 效果有限。

UIKA 的核心洞察：如果能把每张图的人脸像素映射到同一个 canonical UV 空间，就自然解决了跨帧对齐问题。UV 映射是人脸参数化模型的天然属性——FLAME 模型已经定义了每个人脸三角形在 UV 空间中的位置。只要知道每个像素的 UV 坐标，就能把不同图像的像素"汇聚"到同一个 UV 画布上。

UIKA 的完整 Pipeline 分为五个阶段，如架构图所示：

UIKA 整体 Pipeline：面部对应估计 → 颜色重投影与聚合 → 双空间特征提取 → 双流注意力 Transformer → UV Decoder + 自自适应融合（来源：UIKA 论文 Fig. pipeline）

3.1 面部对应估计与颜色重投影

Pipeline 的第一阶段是面部对应估计器（Facial Correspondence Estimator）。给定任意数量 \(N\) 张 pose-free 输入图像 \(\{\mathrm{I}^i_{\text{s}}\}_{i=1}^N\)，它逐像素预测 UV 坐标：

其中 \(\mathrm{U}^i = (u, v) \in [0,1]^2\) 是像素级 UV 坐标，\(\mathcal{U}\) 采用 frozen DINOv3 编码器 + 可训练 DPT head 的架构，受 Pixel3DMM 启发 #Giebenhain-et-al.-2026。

图：面部对应估计器网络详细架构（来源：补充材料 Fig. uv_pred_net）

图：UIKA 与 Pixel3DMM 的 UV 坐标预测对比。UIKA 在边界区域（尤其是头发周围）更平滑，这对后续颜色重投影至关重要（来源：补充材料 Fig. uv_pred_res）

有了 UV 坐标，就可以把每张输入图像从 screen space 重投影到 UV space：

然后对所有重投影图像做逐像素平均，得到聚合 UV 图像 \(\mathrm{I}_{\text{aggr}}\) 和置信度图 \(\gamma_{\text{aggr}}\)：

置信度的计算方式很巧妙：\(\gamma_{\text{aggr}} = \operatorname{Norm}(\log(1 + n_{\text{hit}}))\)，其中 \(n_{\text{hit}}\) 是该 UV 像素被多少张输入图像"命中"。用 log 压制高频区域（如正脸）的主导地位，让侧脸区域也能获得合理的置信度。

3.2 双流注意力：Screen + UV

这是 UIKA 最核心的创新。已有方法（如 LAM、GPAvatar）只用 screen space 的 cross-attention——learnable tokens 只与原始图像的特征交互，缺乏结构化对应关系。

UIKA 在标准 screen attention 之外，增加了一个 UV attention 分支：

这里 \(\mathcal{Z}\) 是 learnable UV tokens（9216 个，reshape 为 96×96 网格），\(\mathcal{F}_{\text{s}}\) 和 \(\mathcal{F}_{\text{uv}}\) 分别是 screen 和 UV 空间的多尺度特征（由 frozen DINOv3 + 轻量 CNN fusion 模块提取）。

两个 attention 分支的增量直接相加——screen attention 提供局部细节（纹理、边缘），UV attention 提供结构化全局上下文（人脸拓扑、语义区域）。12 层 MM-DiT Transformer 块 #Esser-et-al.-2024 在每个 block 中同时执行两种 attention。

3.3 UV Decoder 与自自适应融合

从 Transformer 的 4 个深度层（\(l=3,6,9,12\)）取出 UV tokens，与聚合 UV 图 \(\mathrm{I}_{\text{aggr}}\) 和置信度 \(\gamma_{\text{aggr}}\) 一起送入 UV Decoder：

Decoder 采用 DPT 架构，输出 384×384 的 UV 特征图。通过 FLAME UV rasterization 获取有效 UV mask，从中采样约 130K 个点，经 2 层 FC + per-attribute MLP 解码为 Gaussian 属性。

最关键的设计是自自适应融合（Self-Adaptive Fusion）：

每个 Gaussian 学习一个标量融合权重 \(w_k\)，在"网络预测色"和"实际观察色"之间动态平衡：

• 当该区域被多张图像覆盖时，\(w_k\) 偏小 → 倾向使用观察色（细节更真实）

• 当该区域被遮挡或覆盖不足时，\(w_k\) 偏大 → 倾向使用预测色（更连贯）

这是一种优雅的"soft selection"机制，比硬阈值或全局融合权重精细得多。

3.4 动画驱动：FLAME LBS + 3DGS 渲染

重建的 canonical Gaussian 头像通过 FLAME 的线性混合蒙皮（LBS）驱动动画：

其中 \(\Theta\) 是目标 FLAME pose + expression 参数，\(\Pi\) 是相机参数。渲染通过标准 differentiable Gaussian splatting rasterizer，达到 220 FPS，无需额外神经渲染器（与 GAGAvatar、GPAvatar 等需要额外网络做后处理的方法形成鲜明对比）。

训练数据

UIKA 在四个数据集上联合训练：

• VFHQ：高质量单目人脸视频，提供丰富的身份和表情多样性

• HDTF：高分辨率 talking-head 视频，侧重语音驱动表情

• NeRSemble-v2：多视角 studio 数据集，提供 3D 一致性监督

• 合成数据集：UIKA 自建的大规模多视角合成数据（7500+ 身份，每身份 9 视角 × 13000+ 帧）

合成数据管线是 UIKA 的另一个亮点。传统多视角数据集（如 NeRSemble、RenderMe-360）受限于采集成本，身份数量少且多为 studio 光照，难以泛化到 in-the-wild 场景。UIKA 的解决方案：

flowchart TD
  A["SphereHead 3D 头部生成器"] --> B["每身份渲染 9 个固定视角"]
  B --> C["LivePortrait 2D 面部动画"]
  C --> D["同一 motion library 驱动所有视角"]
  D --> E["时间同步的多视角序列"]
  E --> F["7500+ 身份，含极端表情"]

先用 SphereHead #Li-et-al.-2024（在 in-the-wild 图像上训练的 3D 头生成器）渲染 9 个固定视角，再用 LivePortrait #Guo-et-al.-2024 从 motion library 中选取驱动视频统一驱动所有视角，生成时间同步的多视角序列。

图：合成数据集示例。每行是一个身份在 9 个固定视角下的渲染结果，表情多样（来源：补充材料 Fig. synth_data）

数据处理

所有数据通过 VHAP tracker 提取 FLAME 2023 的 pose/expression 参数和相机参数，遵循 GaussianAvatars 的预处理协议。输入图像经过人脸检测、扩大 bbox、crop 到 512×512，并随机替换背景为黑/白/灰三色（一种简单但有效的 domain randomization）。

训练采样与损失函数

每次训练迭代，从同一视频随机采样 \(N_{\text{ref}} = 16\) 帧作为 source 输入（重建 canonical 表示），再采样 \(N_{\text{d}} = 8\) 帧作为 target views（驱动 + 监督）。

损失函数由四部分组成：

其中 \(\lambda_{\text{l1}} = 1.0\)、\(\lambda_{\text{lpips}} = 1.0\)、\(\lambda_{\text{ssim}} = 0.1\)、\(\lambda_{\text{reg}} = 0.1\)。L1 + SSIM + LPIPS 的组合是 3DGS/NeRF 领域的标配，offset regularization 防止 Gaussian 飘离 FLAME 表面太远。

UIKA 的推理链路极其简洁，这得益于其纯前馈设计——无需任何测试时优化或微调：

flowchart TD
  A["输入: 任意数量 Pose-Free 图像"] --> B["Facial Correspondence Estimator"]
  B --> C["颜色重投影 & UV 聚合"]
  C --> D["双空间特征提取 (DINOv3)"]
  D --> E["12 层 MM-DiT 双流注意力"]
  E --> F["UV Decoder 解码 Gaussian 属性"]
  F --> G["自自适应融合"]
  G --> H["Canonical 3DGS 头像"]
  H --> I["FLAME 参数驱动 LBS 动画"]
  I --> J["3DGS Rasterizer 渲染"]
  J --> K["输出: 220 FPS 实时渲染"]

推理速度是 UIKA 的一大亮点。与 GAGAvatar、GPAvatar 等方法需要额外神经渲染器做后处理不同，UIKA 的 Gaussian 头像直接通过标准 3DGS rasterizer 渲染，达到 220 FPS。对比之下，DiffusionRig 的推理需要约 30 分钟（per identity 微调 + 迭代去噪）。

动画驱动也非常简单：给定目标 FLAME pose 和 expression 参数，通过 LBS 将 canonical Gaussian 变换到 posed space，然后差分光栅化渲染即可。这意味着 UIKA 可以轻松集成到现有的面部捕捉 + 驱动管线中。

实验配置

Monocular 设置：单图输入全面领先

在单图输入（monocular）设置下，UIKA 在所有指标上全面超越 GAGAvatar、LAM 和 Portrait4D-v2：

这些数字说明了什么？PSNR 提升 0.66（vs Portrait4D-v2）看起来不大，但 LPIPS 从 0.134 降到 0.105（↓22%）和 AED 从 0.094 降到 0.055（↓41%）说明 UIKA 在感知质量和表情精度上有质的飞跃。特别是 LAM 的 PSNR 只有 18.29——当 target view 与 source view 差异较大时，仅靠 screen attention 的模型确实撑不住。

UIKA 与基线方法在 monocular 和 multi-view 设置下的定性对比。当 target view 与 source view 差异较大时，GAGAvatar 和 LAM 的渲染质量显著下降，而 UIKA 保持稳定（来源：UIKA 论文 Fig. comparison）

Multi-view 设置：多图输入优势更明显

在多视角输入设置下，UIKA 的优势进一步扩大：

PSNR 领先第二名 5.39 dB——这是巨大的差距。GPAvatar 和 InvertAvatar 虽然支持任意数量输入，但由于缺乏显式对应，多图信息聚合反而可能引入噪声。UIKA 的 UV 引导建模让输入图像越多，重建质量越好——这才是多视角输入的正确打开方式。

随着输入图像数量增加，UIKA 的重建质量持续提升：初始遮挡区域被填补（a），3D 一致性增强（b），渲染细节改善（c, d）（来源：UIKA 论文 Fig. view_analysis）

消融实验：每个组件都不可或缺

三个消融的发现：

• 去掉合成数据掉点最多（-0.75 PSNR），说明大规模多视角合成数据对模型的 3D 一致性至关重要

• 去掉 UV attention 掉 0.40 PSNR，主要损失在细节（缺乏结构化全局信息）

• 去掉自自适应融合 掉 0.22 PSNR，颜色连贯性下降

消融实验定性对比：去掉各组件后渲染质量的变化（来源：UIKA 论文 Fig. ablation）

In-the-Wild 泛化

UIKA 在 out-of-domain 数据上也展现了良好的泛化能力，包括 Ava-256 数据集和互联网 in-the-wild 图像。

UIKA 在 in-the-wild 场景下的泛化表现（来源：UIKA 论文 Fig. wild）

补充消融：训练数据规模与 Self-Adaptive Fusion

补充材料中提供了两个额外消融，进一步揭示了方法的关键因素：

图：训练数据消融实验。从左到右：仅 NeRSemble-v2 → +VFHQ → +合成数据（来源：补充材料 Fig. abla_data）

图：补充消融实验，包含 Self-Adaptive Fusion 的固定权重 vs 学习权重的对比（来源：补充材料 Fig. abla_method）

补充对比结果

补充材料中给出了 Monocular 和 Multi-view 设置下的更多可视化对比。在 Monocular 设置下，UIKA 在 VFHQ 和 NeRSemble-v2 上都展现了更强的身份保持和更自然的细节；Multi-view 设置下，随着输入图像增多，优势进一步扩大。

图：Monocular 设置下 VFHQ 和 NeRSemble-v2 的补充对比结果（来源：补充材料 Fig. comp_suppl）

图：Multi-view 设置下 NeRSemble-v2 的补充对比结果（来源：补充材料 Fig. mv_comp_suppl）

User Study：人类评测也第一

除了定量指标，UIKA 还进行了用户研究（评分 1-5）。在渲染质量（4.37 vs 次优 3.48）、运动一致性（4.17 vs 3.45）和身份保持（4.23 vs 3.54）三个维度上，UIKA 以显著优势领先所有 baseline。这比 PSNR/LPIPS 更能说明问题——用户的眼睛不会骗人。

延迟分析：推理到底有多快？

补充材料中给出了详细的延迟分析。View-Dependent 模块（UV 预测 + Transformer + Decoder）的推理时间随输入图像数 \(N\) 呈 \(O(N^2)\) 增长（受 self-attention 限制）：1 张图 1.96s，4 张 3.57s，16 张 12.8s，32 张 32.9s。View-Independent 模块（LBS + 渲染）仅需 5ms（3ms LBS + 2ms 渲染）。总延迟在秒级，远快于需要测试时优化的方法。

应用展示：从文本到可驱动头像

补充材料还展示了两个有趣的应用：

图：In-the-wild 图像重演结果，涵盖多种视觉风格（来源：补充材料 Fig. apps_image）

图：Text-to-Head-Avatar 生成管线（来源：补充材料 Fig. apps_text）

与核心竞品的技术对比

局限性

• FLAME 拓扑依赖：FLAME 模型本身无法表达皱纹、微表情和舌头运动等细粒度面部动态，且头发、胡须、配饰等非皮肤区域无法重建。这是所有 FLAME-based 方法的共同局限。

• 极端侧脸退化：当输入图像只覆盖人脸的一小部分（如纯侧脸），correspondence estimator 可能预测不准，导致 UV 聚合不完整。

• 合成数据偏差：SphereHead + LivePortrait 生成的合成数据虽然规模大，但与真实数据之间仍存在分布偏移，可能影响极端 in-the-wild 场景的表现。

• 对应估计器是关键瓶颈：整个 Pipeline 的质量上限取决于 correspondence estimator 的精度——如果 UV 坐标预测错误，后续所有步骤都会受影响。

• 计算成本随输入数量增长：虽然支持任意数量输入，但 View-Dependent 模块的延迟随 \(N\) 呈 \(O(N^2)\) 增长，32 张图需要 32.9s，且性能提升在超过一定数量后趋于饱和。

我们能带走的启发

1. UV 引导思想可以迁移：不只是人头，任何具有参数化模型的 3D 对象（人手、人体、动物面部）都可以用类似的 UV 引导策略做多视角聚合。这是本文最值得借鉴的元思想。

2. 合成数据是 Feed-Forward 模型的燃料：UIKA 的消融实验清楚地表明，大规模合成数据对模型性能至关重要。7500+ 身份 × 9 视角 × 13000+ 帧的规模远超任何真实采集数据集的覆盖范围。对于数字人方向的从业者，建立自己的合成数据管线可能是 ROI 最高的投入。

3. 双流注意力比单流更强大：Screen attention 抓细节，UV attention 抓结构——这种"互补双流"的设计模式可以推广到其他需要多源信息融合的任务中。

4. 220 FPS 意味着什么：不需要神经渲染器意味着 UIKA 可以在移动端部署。对于钉钉会议等实时通信场景，这是一项关键能力。