图像抠像参考

图像抠像（image matting）的目标是从自然图像中提取精确的 alpha 蒙版——一张 [0,1] 连续的软透明度图，标注每个像素属于前景的程度 #Li et al. 2023。它和「轮廓提取」是同一件事的两种精度：二值边缘图给出轮廓的「在哪」，而 α 蒙版给出轮廓的「多软」——发丝、毛发、透明物边缘这些 transition area 才是抠像真正要解的地方。

本综述的定位很明确：在深度学习兴起之后，第一篇系统总结 image matting 的综述 #Li et al. 2023。之前的 survey（如 Li2019ASO、Boda2018ASO、Yao2017ACS、Wang2007ImageAV）几乎只覆盖传统方法——color sampling、affinity propagation、及其混合 #Li et al. 2023。这些方法依赖低层颜色/结构特征，在复杂背景下难以区分前景细节，且对 trimap 中未知区域的大小极其敏感。深度学习的引入不仅提升了精度，还催生了全新的任务设定：interactive matting、click-based matting、referring/text matting，以及完全不需要辅助输入的 automatic matting #Li et al. 2023。

综述维护了一个持续更新的公开仓库 JizhiziLi/matting-survey，追踪该领域的快速迭代 #Li et al. 2023。下面我们按它的章节顺序，把可查的骨架信息提取出来。

图 1 · 深度学习抠像方法时间线（survey Fig.1）。蓝线为辅助输入方法，黄线为自动方法——两条线并行发展，自动方法在 2020 年后明显加速。

图像抠像的数学形式由 Porter & Duff 在 1984 年正式化（合成代数 compositing algebra），其历史可追溯到 1960s 电影工业的 travelling-matte problem #Li et al. 2023。核心方程是「前景-背景的凸组合」：

这个方程的麻烦在于：已知 \(I\)（3 通道），未知 \(F\)、\(B\)、\(\alpha\)（3+3+1=7 个未知量），3 个方程解 7 个未知数——严重欠定 #Li et al. 2023。因此：

• \(\alpha_i = 1\) → 纯前景 / definite foreground（definite FG）；
• \(\alpha_i = 0\) → 纯背景 / definite background（definite BG）；
• \(0 < \alpha_i < 1\) → 未知区域 / transition area，即发丝、毛发、透明物边缘等真正需要解的像素。

综述用一个三维 taxonomy 组织所有方法：输入模态（用什么辅助信息）、抠像目标（抠什么）、方法范式（网络怎么搭）。前两维决定「问题设定」，第三维决定「解决方案结构」 #Li et al. 2023。

维度一 · 输入模态

对需要辅助输入的方法，模态包括：RGB + trimap（三态图，标 definite FG / BG / unknown，最常用）、RGB + 背景图（用户预先拍一张背景）、RGB + coarse map（粗分割图）、RGB + user click、RGB + flexible 输入（scribble 等）、RGB + 文本描述（language/referring）。自动方法则只有单张 RGB 图像 #Li et al. 2023。

图 2 · 输入图像、其 alpha 蒙版与各类辅助输入（survey Fig.2）。从左到右：原图、alpha matte、trimap、background、coarse map、user click、scribble、text description。红线/点=纯前景，绿线/点=纯背景。

维度二 · 抠像目标

理论上没有限制，但受训练数据约束。主流目标：人像 / portrait（DAPM、SHM、MODNet、P3M、BM）、动物（GFM）、透明物体（TOM-Net、TransMatting）、通用物体（HATT、LF、AIM）。AIM 进一步把目标分为三类——salient opaque / salient transparent / non-salient——是一种典型目标 taxonomy #Li et al. 2023。

维度三 · 方法范式（两轨 × 三型）

这是综述最有结构感的部分。方法分两大轨——辅助输入轨与自动轨——每轨各分三型网络结构：

图 3 · 辅助输入方法三型架构（survey Fig.3）：(a) one-stage 拼接；(b) one-stage + outsider module；(c) two/multi-stream 融合。演进方向是越来越充分地利用辅助输入的多层信息。

图 4 · 自动方法三型架构（survey Fig.4）：(a) one-stage + 可选全局指导；(b) sequential 两步（先生成中间表示）；(c) encoder-sharing + 多 decoder。

这条「减人工、增自动化」的演进线对视频轮廓提取尤其重要：视频不能逐帧标 trimap，自动架构（尤其 encoder-sharing 多 decoder）是视频 matting / 视频轮廓模型的主流骨架来源。

综述 Table I 按年代列出全部 69 篇方法（年/方法/会议/模态/自动性/目标/架构/train/test）。下表摘出最具结构意义的里程碑——它们定义了某条新路线的起点 #Li et al. 2023。

从里程碑可读出三条演进脉络：① 骨干换代——VGG → ResNet → MobileNet → Swin/ViTAE Transformer，transformer 在 2022 后逐步主导；② 辅助输入减负——trimap → click/scribble → background → 完全自动（单 RGB）；③ 目标泛化——人像 → 透明物 → 动物 → 通用三分类 → 多模态（文本）。这三条线都直接映射到「视频轮廓提取」的关注点：骨干决定能否实时、自动化程度决定能否上视频、目标泛化决定模型迁移能力。

深度方法依赖高质量标注。但精确的 α 蒙版标注极其昂贵，所以数据集分两条路：合成（从简单背景抠前景 + alpha blending 合成到复杂背景）与自然（真实图像 + 手工标注 α）#Li et al. 2023。

合成数据集

合成路线的优势是量大——每个前景可拼 20–100 张背景。但合成图像与真实图像之间存在 composition artifacts（前景背景分辨率/噪声/光照不匹配），导致训练模型在自然图上泛化差 #GFM 2022。缓解策略包括：Context-Aware 的 re-JPEG+Gaussian blur #Context-Aware 2019、GFM 的 RSSN 合成路线（统一分辨率/锐度/噪声/光照）#GFM 2022、BM 的自监督从无标签真实数据学习 #BMV2 2020、MODNet 的子目标一致性 fine-tune #MODNet 2020、RMat 的强增广（线/非线像素增广+区域增广）。

自然数据集

自然数据集避免合成伪影，但受限于标注成本，规模小且多聚焦单类。下表汇总两类代表（survey Table II 摘录）#Li et al. 2023：

综述 Table III 系统列出 matting 用的九类损失，并在 §5.2 定义四个评测指标。这是做视频轮廓提取评估时可直接复用的工具箱。

训练损失（九类）

最核心的是 α-loss，对每个像素的预测 α 与 GT α 求 L1（带 ε 防不可导）：

其余八类：Composition loss（对合成 RGB \(C_g\) 求 L1）、MSE loss、Cross-entropy（中间表示分类）、Laplacian loss（5 级拉普拉斯金字塔，Context-Aware 首引 #Context-Aware 2019）、Gradient loss（L1 梯度幅度差，治模糊边界）、Adversarial loss、Multi-task loss（AdaMatting 用 Kendall 不确定性加权 #AdaMatting 2019）、SSIM loss（HATT 用）#Li et al. 2023。

评测指标（四个核心）

综述 Table IV 在四个数据集（DIM-481、alphamatting.com、AM-2K、P3M-10K）上统一评测传统/辅助/自动方法，同时报告模型复杂度（参数量 / GMac / 512² 推理速度）#Li et al. 2023。

辅助方法：传统→深度的精度跃迁

深度学习带来的精度跃迁极其明显：DIM-481 上 SAD 从传统 KNN 的 175.4 跌到 LFPNet 的 22.4；alphamatting.com 上从 25.61（Bayesian）跌到 7.34（TIMI-Net）#Li et al. 2023。survey 还点出三个发现：① transformer 类（MatteFormer）在细节预测上潜力最大，靠全局上下文建模能力 #MatteFormer 2022；

自动方法：encoder-sharing 与 transformer 的优势

自动方法的结论有三：① encoder-sharing 架构（GFM/AIM/P3M）整体最优，因分解子任务联合优化 #GFM 2022；② transformer（P3M-ViTAE）长程依赖建模最强，两数据集 SAD 均最低 #P3M-ViTAE 2023；③ SAD-T 仍占 SAD 的大头——细节是瓶颈，未来工作应聚焦 transition area #Li et al. 2023。复杂度方面，参数 3.18M–184.95M、计算 0.52–2821 GMac、速度 0.0017–0.2454 s，多数辅助与自动方法已达实时 #Li et al. 2023。

图 5 · 辅助方法在 alphamatting.com 上的主观结果（survey Fig.5）。建议放大查看发丝/毛发细节。

图 6 · 自动方法在 P3M-500-NP 上的主观结果（survey Fig.6）。

matting 作为底层低层视觉技术，支撑大量下游应用。综述 §6 列四类 #Li et al. 2023：

• 视觉感知：检测/分割 mask 细化（guo2012paired）、cloud matting（zou2019generative）、medical matting（wang2021medical）、light-field matting（cho2016automatic）。
• 图像编辑：composition、inpainting/outpainting、enhancement、relighting（用 α+FG 做）、style transfer。
• 视频处理：video effects（Omnimatte）、shallow DoF 合成、video style transfer、multi-view stereo、RGB-D matting、video matting（survey 引 sun2021deep、zhang2021attention）#Li et al. 2023。
• 多模态 / 3D：remote sensing 云检测、3D rendering 前景提取、3D matting（CT 影像 α 标定到 radiodensity）。

四个挑战

• 综合数据集：现有集偏单类、有合成伪影、多个不公开，需大规模高分自然图 + 多类前景 + 精确 α 标注 #Li et al. 2023。
• 评测指标：SAD/MSE 与人眼感知有 gap——小 SAD 仍可能丢失发丝/耳环/眼镜框细节，需类 SSIM 的结构相似指标 #Li et al. 2023。
• 泛化能力：合成训练→自然图掉点（HATT/LF），单类训练→跨类失效（TOM-Net/MGMatting/P3M）#Li et al. 2023。
• 轻量模型：实时工业场景需要轻量高效，可借鉴 dimension reduction、feature reuse、token pruning、hybrid-resolution 结构 #Li et al. 2023。

四个未来方向

• 弱监督/无监督：用分割/saliency 的弱标签做预训练迁移，或用现成检测/分割模型给无标签数据生成弱标签 #Li et al. 2023。
• 弥合合成-真实：先进渲染/生成 + 有效增广 + domain adaptation/generalization #Li et al. 2023。
• 多模态 matting：language（RIM #RIM 2022）/speech/eye gaze/NeRF 3D 建模协作 #Li et al. 2023。
• 扩散模型：开放问题——扩散模型对 matting 是「毁灭性挫折」还是「新机遇」？作者谨慎乐观，认为 matting 的灵活性、可组合性、可解释性仍有价值 #Li et al. 2023。

与「视频轮廓提取」的五重关系