ArcFace

人脸识别大概是计算机视觉里最"日用而不觉"的技术：手机解锁、高铁进站、考勤打卡、金融 KYC——背后几乎都是同一件事：把一张人脸图像压缩成一个低维特征向量，然后比较"谁跟谁像"。这个问题的学术形态叫判别性特征嵌入（discriminative embedding）：同一身份的特征要彼此紧挨，不同身份的特征要明显分开。而决定"怎么把特征分开"的那个函数，就是损失函数 #Deng et al., 2019。

2018-2019 年间，这个领域正处在一个微妙的时刻：深度网络早已能识别人脸，但"用什么损失函数训练"一直悬而未决。三条路线并行——朴素 softmax 分类、FaceNet 式三元组度量学习、以及刚兴起的 margin-based softmax #Schroff et al., 2015 #Liu et al., 2017。ArcFace 就在这个窗口出现，用一句话概括它的贡献：把 margin 从"余弦值上做加减"的数值技巧，升格为"超球面上直接优化测地线距离间隔"的几何操作，同时保持了极简的实现和稳定的收敛 #Deng et al., 2019。

这篇论文的份量可以从三个侧面感受。其一，它是 CVPR 2019 的口头报告（Oral），扩展版发表于 IEEE TPAMI 2022——从收稿到录用走了严格的期刊流程 #Deng et al., 2019。其二，它的引用量在 Google Scholar 口径下早已破万，长期位列人脸识别领域引用榜前几名，几乎所有后续损失函数（CurricularFace、MagFace、AdaFace、ElasticFace）都把它当 baseline 与对比对象 #Huang et al., 2020 #Meng et al., 2021 #Kim et al., 2022。其三，它背靠开源项目 InsightFace——约 29.4K stars、提供全套预训练模型与训练管线的事实标准仓库，让"复现 ArcFace"的成本低到几行代码。

图 1：四类比较模式——Triplet 做样本-样本的局部比较，ArcFace 做样本-类中心的全局角度比较，sub-center 进一步允许多个子中心（来源：Deng et al., 2019, Fig.1）。

对数字人这个系列来说，ArcFace 还有一个特殊位置：数字人的"身份一致性"——生成的脸是不是同一个人——本质上就是一个人脸识别问题。无论说话头、视频换脸还是 3D Avatar，身份锚点（identity anchor）通常就来自人脸识别预训练模型提取的特征。理解 ArcFace，等于理解数字人身份一致性这条线的底层坐标系。

在 ArcFace 之前，训练人脸嵌入有两条主线，各有各的硬伤。

主线一：多分类 softmax。 把每个身份当作一个类别，用交叉熵分类损失训练网络 #Sun et al., 2014。它稳定、全局、省心，但有两个先天缺陷：第一，softmax 只保证训练集内"线性可分"，不显式优化类内紧凑与类间分离——模型学会的是"分对类"，不是"让同类近、异类远"，因此在开集（open-set）场景下判别力不足；第二，分类矩阵的维度随身份数 $N$ 线性膨胀，百万身份就要百万类，内存与算力压力巨大。

主线二：度量学习（Triplet loss）。 FaceNet 用（anchor, positive, negative）三元组直接在嵌入空间做样本-样本的欧氏距离比较，让正样本对近于负样本对 #Schroff et al., 2015。它把"距离"显式写进了目标函数，却引入了三元组组合爆炸——样本数 $O(n)$，三元组却是 $O(n^3)$——以及难样本挖掘（semi-hard mining）的工程复杂度。FaceNet 用 2 亿张图训出了 LFW 99.63% 的成绩，但这条路的规模化成本极高。

中间的桥梁是 margin-based softmax：在 softmax 的目标 logit 上施加单调惩罚，把决策边界"压进"超球面的角空间。这条演化链一步步逼近 ArcFace：

flowchart LR
  A["DeepID 2014
softmax 分类骨架"] --> B["FaceNet 2015
Triplet 度量学习"]
  B -->|"三元组爆炸"| C["NormFace 2017
特征+权重归一化"]
  C --> D["SphereFace 2017
乘法角间隔"]
  D -->|"训练不稳"| E["CosFace 2018
加法余弦间隔"]
  E -->|"几何性弱"| F["ArcFace 2019
加法角度间隔"]
  C -.-> E
  style F fill:#fff3cd,stroke:#e6a817

• SphereFace（CVPR 2017）：首次提出角度余量，用乘法角间隔 $\cos(m\theta_{y_i})$。方向对了，但乘法让目标 logit 曲线在低角度处极陡，训练初期梯度爆炸、难以收敛，作者被迫用退火策略 + softmax 联合监督来稳定训练 #Liu et al., 2017。

• CosFace（CVPR 2018）：把 margin 从"角的倍数"改成"余弦的减法"——$\cos\theta_{y_i} - m$，训练稳定了，但 margin 加在余弦域而非角度域，转换到角度空间后间隔是非线性的，没有"恒定测地距离"的几何意义 #Wang et al., 2018。

• NormFace（ACM MM 2017）：提供了底座——权重归一化 + 特征归一化 + 尺度 $s$，让预测只依赖角度，特征落在超球面上 #Wang et al., 2017。

ArcFace 的切入点是：前两者都做对了一半——SphereFace 用对了"角度"但用错了"乘法"，CosFace 用对了"加法"但放错了"位置"。ArcFace 用 $\arccos$ 把余弦映射回角度，在角度上加 $m$，再取余弦回代：$\cos(\theta_{y_i}+m)$。角度与归一化超球面上的弧长一一对应（弧长 = 半径 × 圆心角），所以加法角度 margin 等价于在球面上拉开恒定的一段测地线距离 #Deng et al., 2019。

论文的方法论由三块构成：

3.1 ArcFace：在角上加 margin

从标准 softmax 出发。设特征 $x_i \in \mathbb{R}^d$，权值矩阵 $W \in \mathbb{R}^{d \times N}$（每列 $W_j$ 是第 $j$ 类的中心），标准 softmax 损失为：

softmax 不显式优化类内/类间几何结构。第一步（Norm-Softmax）：置偏置 $b_j=0$，权重归一化 $\|W_j\|=1$，特征归一化并重缩放 $\|x_i\| = s$。此时内积退化为角度：$W_j^T x_i = \cos\theta_j$，损失只依赖角度：

第二步，也是核心一步——把 margin 加在角度上（而不是余弦上）：

论文用一个统一框架 $L_4 = -\log\frac{e^{s(\cos(m_1\theta_{y_i}+m_2)-m_3)}}{\sum_j e^{s\cos\theta_j}}$ 把三种 margin 收进同一公式：$(m_1, m_2, m_3)=(1,m,0)$ 即 ArcFace，$(m_1,0,0)$ 即 SphereFace，$(1,0,m_3)$ 即 CosFace。作者还分析了 target logit 曲线的三个要素——起点、终点、斜率——指出三者各有最优设置时数值曲线可以非常接近，但几何性质（恒定测地间隔 vs 非线性间隔）是 ArcFace 的实质优势 #Deng et al., 2019。

图 2：四种损失的决策边界。ArcFace 的边界是笔直的线性角间隔，而 SphereFace 与 CosFace 的边界是弯曲的（来源：Deng et al., 2019, Fig.3）。

图 3：target logit 曲线三要素（起点、终点、斜率）。SphereFace 曲线在低角度处极陡（来源：Deng et al., 2019, Fig.4）。

3.2 sub-center ArcFace：用 K 个子中心兜住噪声

ArcFace 假设训练数据干净。但大规模人脸数据从网上爬来，噪声率动辄过半——MS1MV0 的噪声率估计高达 47.1%~54.4%。噪声样本（错标身份）被强制靠近唯一正中心，会产生巨大的错误梯度、污染训练。

sub-center ArcFace 的解法极简：每个类放 K 个子中心 $W \in \mathbb{R}^{512 \times N \times K}$，样本只需靠近 K 个子中心中的任意一个（max pooling 取最近子中心），再套用 ArcFace 的角度 margin：

机制上，这是一个自发的"分区"过程：干净样本会聚成 dominant 子类，噪声与困难样本被"兜"进 non-dominant 子类，互不干扰。实验量化了这种隔离效果：K=1 时 dominant 子类内噪声占比 38.47%，K=3 时压到 12.40%（约三分之一）；四类样本占比为 easy clean → dominant 57.24%、hard noisy → dominant 12.40%、hard clean → non-dominant 4.28%、easy noisy → non-dominant 26.08% #Deng et al., 2019。

图 4：sub-center ArcFace 的损失计算链路：特征与子中心归一化 → 矩阵乘 → max pooling → 角度加 margin → softmax（来源：Deng et al., 2019, Fig.2）。

K 值需要平衡：K 太小容错不足，K 太大稀释类内紧凑。消融显示 K=3 最优（IJB-C 93.72%），K=10 崩到 67.94%。更重要的是，sub-center 开启了一条自动数据清洗管线：

flowchart TD
  A["MS1MV0 / Celeb500K
（高噪声）"] --> B["sub-center ArcFace
第一轮训练 K=3"]
  B --> C["丢弃 non-dominant 子中心
+ 高置信噪声阈值 >75°"]
  C --> D["干净数据
IBUG-500K 11.96M / 493K 身份"]
  D --> E["从零重训
K=1 标准 ArcFace"]
  E --> F["IJB-C 95.92% → 97.27%"]
  style D fill:#d4edda,stroke:#28a745

这条管线零人工标注成本，与"50 名标注员干 1 个月清洗 1.7M 图像"的传统路线形成鲜明对比，产物就是公开的 IBUG-500K 数据集（11.96M 图像 / 493K 身份）——在 IJB-B/C 上超越了用 636.2K 身份训练的 MC-FaceGraph 清洗数据 #Deng et al., 2019。

3.3 ArcFace 反演：判别模型的生成侧

第三块贡献出人意料：把预训练 ArcFace 当白盒，仅用网络梯度 + BN 层存储的统计先验，从随机噪声反演出保持目标身份的人脸，全程不需要训练 GAN 的生成器与判别器。算法流程：

1. 从高斯 $(\mu=0, \sigma=1)$ 采样随机输入张量 $I^r$；

2. 读取每个 BN 层的 running mean $\mu_i$ 与 running variance $\sigma_i$；

3. 迭代 $T$ 步：前向计算 ArcFace 损失（身份约束）→ 计算激活统计与 BN 先验的匹配损失 $L_8$ → 联合反传更新 $I^r$。

BN 统计先验的形式为：

总目标 $L_3 + \lambda L_8$（$\lambda=0.05$）。机制上，ArcFace 损失保证"生成的脸被模型判定为目标身份"，而 BN 先验迫使逐层激活统计匹配训练集分布——没有它，生成结果会收敛到高置信但一眼假的"非自然脸"。BN 层把训练集的真实人脸统计（肤色、灰度分布等）编码进了 running stat，充当了天然的脸部先验。

图 5：模型反演架构——随机张量经网络前向，ArcFace 损失与 BN 统计损失联合反传更新图像（来源：Deng et al., 2019, Fig.7）。

close-set 模式用分类损失约束身份（只能反演训练集里的 N 个身份），open-set 模式改用特征 ℓ2 损失 $\min\|\phi(I^r) - f_{target}\|_2^2$，可以反演任意目标身份——论文借此实现了 LFW 测试样本的年龄、性别、种族、姿态、遮挡等变化的反演 #Deng et al., 2019。

ArcFace 的训练链路很轻：标准 CNN 骨干 + 双归一化 + 角度 margin 损失，无额外正则项，不需要与其它损失联合即可稳定收敛（这是相对 SphereFace 的关键工程优势）。

数据与骨干：骨干用 ResNet50 / ResNet100（无 bottleneck 结构），最后卷积层后接 BN → Dropout → FC → BN 得到 512 维嵌入。数据经 RetinaFace 检测 5 个关键点后对齐裁剪到 112×112。训练集覆盖从 0.5M 图像的 CASIA 到 50M 图像的 Celeb500K 的完整梯度。

关键超参数：特征尺度 $s=64$（扫描 0.4~0.55 后取角度间隔 $m=0.5$ 为最优）；sub-center 子中心数 $K=3$；反演用 Adam lr=0.25、20K 步。大规模身份通过"中心并行策略"在单台 8-GPU 服务器上训练百万级身份——这是 $W$ 随 $N$ 线性膨胀的内存问题的主要解法。

一个值得注意的消融细节：Norm-Softmax 在 $s=64$ 时在 CFP-FP（89.79%）与 AgeDB（88.72%）出现明显退化，甚至不如原始 softmax，要搜到 $s=20$ 才能追平——说明尺度参数必须仔细调节，这也是 ArcFace 强调"归一化 + margin 要配套"的原因。而 ArcFace+Intra/Inter/Triplet 等叠加损失几乎无增益，说明 ArcFace 本身已内化了类内紧凑、类间离散与分类 margin 三类目标 #Deng et al., 2019。

ArcFace 的推理端极其轻量，这也是它能成为工业标准的重要原因。

模型瘦身：测试时直接丢弃全连接分类层，只保留嵌入网络。ResNet50 仅 160MB、ResNet100 250MB，提取 512-D 特征的速度分别为 8.9 ms/脸与 15.4 ms/脸——单张图片从输入到特征向量毫秒级完成 #Deng et al., 2019。

特征表示：验证（verification）时直接比较两张图的 512-D 归一化特征（余弦相似度）；对于 IJB-B/IJB-C 这类模板（template，一组图片或一段视频），用模板内全部图像/帧的特征中心（平均）作为该模板的表示，再做 1:1 验证或 1:N 检索。LFW/YTF 采用 unrestricted with labelled outside data 协议。

评测口径：1:1 验证报告 TPR@FPR=1e-4（以及 1e-5），1:N 识别报告 Rank-1。FPR=1e-4 意味着"百万次误报中只允许 100 次"，这是安全场景的严苛标准。

模型反演作为推理侧应用：反演同样只需前向 + 反传，无需额外网络。close-set 实验（MS1MV3, R50 反演，IBUG-500K, R100 第三方评估）中 ArcFace 取得 FID 70.39、余弦相似度 0.6248，优于 Softmax（75.59 / 0.5612）、SphereFace（73.18 / 0.5919）与 CosFace（71.64 / 0.6176）；open-set 反演 LFW 目标特征后，同一模型在生成人脸集上验证精度为 97.75%（原图上是 99.81%），用更强的 R100 评估时仍有 93.30% #Deng et al., 2019。

图 6：close-set 反演结果——仅用随机噪声 + 梯度 + BN 先验生成的保身份人脸（来源：Deng et al., 2019, Fig.8）。

实验部分覆盖面极广：六大标准基准（LFW / YTF / CFP-FP / CPLFW / AgeDB / CALFW）+ MegaFace + IJB-B/IJB-C + LFR2019 竞赛赛道 + 反演质量评测。

六大基准（IBUG-500K, R100, ArcFace）：LFW 99.83%、YTF 98.01%、CFP-FP 98.87%、CPLFW 93.43%、AgeDB 98.38%、CALFW 96.10%。LFW/YTF 早已饱和在 99.8%/98% 附近，真正的区分度在姿态（CFP-FP/CPLFW）与年龄（AgeDB/CALFW）基准上。

与当时最强方法的对比（IJB-C TPR@FPR=1e-4）：

IBUG-500K 版本在 IJB-C 上达 97.27%，相对 CurricularFace 错误率降低 29.09%（(100-96.15)/(100-97.27) 方向），在 TPR@FPR=1e-5 与 1:N Rank-1 口径下也全部领先（IJB-C Ver 96.07 / Id 97.21），且训练数据规模小于 MC-FaceGraph 的 18.8M 却取得更优结果 #Deng et al., 2019。

图 7：IJB-B 1:1 验证 ROC 曲线（来源：Deng et al., 2019, Fig.15）。

图 8：IJB-C 1:1 验证 ROC 曲线（来源：Deng et al., 2019, Fig.16）。

MegaFace（FaceScrub probe，1M 干扰项）：IBUG-500K, R100 原始口径 Id 81.43 / Ver 97.63，refined（作者清洗了 MegaFace 官方的错误标注）后 Id 98.98 / Ver 99.08——大幅超过 CosFace、CurricularFace、GroupFace 等同期方法 #Deng et al., 2019。

LFR2019 竞赛：受约束赛道（GFlops < 1.0、强制 MS1MV3），R100 在 Image 赛道 TPR@FPR=1e-8 达 92.75%、Video 赛道 64.89%，包络所有 top 方案 ROC；轻量模型用 EfficientNet-B0 + R100 蒸馏（ℓ2 特征回归权重 1.0 + KL 类级相似度权重 0.1）也在 Video 赛道超过冠军 0.37% #Deng et al., 2019。

消融发现：

实验配置披露：

ArcFace 之后，margin-based softmax 成为人脸识别的默认标配，后续工作几乎全在它之上做文章：CurricularFace 引入课程式自适应 margin #Huang et al., 2020，MagFace 把特征模长变成可学习的质量信号 #Meng et al., 2021，AdaFace 按图像质量自适应调节 margin #Kim et al., 2022，ElasticFace 把 margin 随机化以提升泛化。这些后继都以 ArcFace 为 baseline 与对比对象——这正是"锚点"级工作的标志。

三个层面值得带走：

1. 几何直觉 > 数值技巧。ArcFace 的胜利不是调出了更好的超参数，而是找到一个"有明确几何语义"的 margin 形式：角度 ↔ 弧长 ↔ 测地距离的一一对应，让"拉开类间距离"这个抽象目标变成可优化、可解释、可复现的操作。后续无数"margin 变体"的差异化空间，本质上都是在这个几何框架内做文章。

2. 噪声是数据时代的第一问题。sub-center ArcFace 的启示是：与其手工清洗，不如让损失函数自己学会"分区"——K 个子中心天然把干净/噪声样本分流，再配合阈值丢弃 + 重训，零人工成本产出 IBUG-500K。这个思路在今天的 web-scale 数据训练中比 2019 年更有价值。

3. 判别模型也能生成。反演实验证明，一个纯判别式模型 + BN 统计先验就能重建保身份人脸，无需 GAN。这既是生成研究的路线补充，也敲响了隐私警钟——作者明确把"让识别模型不可反演"列为未来方向。

对数字人领域，ArcFace 的遗产是双重的：作为身份一致性测量器，它至今仍是 talking head 评测的标准工具；作为判别特征底座，它是身份锚点（identity anchor）类方法的事实起点——系列里那些强调"身份保持"的生成工作，底层坐标几乎都建立在这类特征空间之上。