Robust Video Matting 论文精读

提取 $\alpha$ 与 $F$ 后即可把前景合成到新背景，实现背景替换。在视频会议、娱乐视频创作等场景里，用户希望无需绿幕、无需 trimap、无需预采集背景图，就能在普通视频流上实时替换人像背景。

论文给出的时序信息三重价值，是全文的动机基石 #Lin et al., 2021：

1. 时序一致性：模型可见多帧及自身历史预测，显著降低闪烁，提升感知质量。
2. 鲁棒性：当单帧歧义（前景色与背景过路物相近）时，可参考前帧更好猜边界。
3. 背景学习：相机/主体运动逐步揭示被遮挡背景，更好理解背景 → 简化抠像任务。

由此 RVM 提出recurrent 架构显式利用时序信息，并辅以 matting + segmentation 联合训练策略对抗合成数据过拟合，做出一个 trimap-free、实时、高分辨率、且鲁棒的人像视频抠像模型。

图 1：RVM 在各种视频上产出鲁棒、时序一致的 alpha 蒙版，无需 trimap 或预采集背景 #Lin et al., 2021。

RVM 由三大组件构成 #Lin et al., 2021：

• 特征提取编码器：MobileNetV3-Large 骨干 + LR-ASPP 模块，沿用 MobileNetV3 的语义分割设计（源自 DeepLabV3 / DeepLabV3+）。骨干最后一个 block 用 dilation rate=2、stride=1 的膨胀卷积，停在 1/16 尺度（不再下采样到 1/32）。编码器逐帧提取 1/2、1/4、1/8、1/16 四尺度特征。
• Recurrent 解码器：ConvGRU 在多尺度聚合时序信息，单向（uni-directional），因此既能直播流式用，也能后处理。
• Deep Guided Filter (DGF) 模块：高分辨率上采样。处理 4K/HD 时先对输入做 factor-$s$ 下采样过编码-解码网络，再用 DGF 把低分辨率 $\alpha$/$F$/hidden features + 高分辨率原图上采到全分辨率。DGF 可选，低分辨率视频可不用。

图 2：RVM 整体架构。编码器逐帧提特征 → recurrent 解码器用 ConvGRU 聚合时序信息 → DGF 做高分辨率上采样 #Lin et al., 2021。

为何选 recurrent 而非 attention / 多帧拼接

论文给出了一个干净的设计论证 #Lin et al., 2021：recurrent 机制可在连续视频流上自适应学习保留与遗忘什么信息；而 attention 或多帧 feedforward 必须依赖一条固定规则，在固定间隔把旧信息移出、新信息插入到有限的 memory pool。recurrent 能同时保留长短期时序信息，更适合抠像这种"背景要长期记、运动要短期跟"的任务。

ConvGRU 公式

选 ConvGRU 而非 ConvLSTM，是因为门更少、参数更省 #Lin et al., 2021。更新规则为：

其中 $*$ 为卷积、$\odot$ 为逐元素乘；$z_t$ 是更新门，$r_t$ 是重置门，$o_t$ 是候选状态；隐状态 $h_t$ 既是输出也是下一时刻的输入 $h_{t-1}$；初始 $h_0$ 为全零张量。

解码器三类 block

• Bottleneck block（1/16 尺度，LR-ASPP 之后）：ConvGRU 只作用于一半通道（split-and-concatenation），大幅省参省算，因为 ConvGRU 计算昂贵。
• Upsampling block（1/8、1/4、1/2 重复）：先拼接三路——上一 block 双线性上采输出 + 编码器同尺度特征图 + 原图经 2×2 avg pool 下采样；再 conv+BN+ReLU 做特征融合与通道压缩；最后 ConvGRU 作用于半数通道。
• Output block（全分辨率）：不用 ConvGRU（此尺度既贵又无效）。2 层 conv+BN+ReLU 堆叠得 final hidden features，1×1 投影输出 5 通道：1-ch $\alpha$ + 3-ch 前景 $F$ + 1-ch 分割预测 $S$。

T 帧并行化技巧

网络被改造为一次接收 $T$ 帧、每层处理完所有 $T$ 帧再传下一层 #Lin et al., 2021。训练时 BatchNorm 跨 batch+time 统计保证归一化一致；推理时 $T=1$ 处理直播、$T>1$ 当允许 buffering 时利用非 recurrent 层的 GPU 并行（一种 batching）。

这是全文最令人印象深刻的发现。论文可视化 recurrent 通道后发现，网络自动学会了 #Lin et al., 2021：

• 随时间重建被揭示的背景，并存入 recurrent channels 辅助未来预测；
• 用其他 recurrent channels 跟踪运动历史；
• 相机运动时仍尝试重建背景；
• 镜头切换时遗忘无用记忆——这是 recurrent 机制"自适应遗忘"的直接体现。

图 3：recurrent 通道随时间逐步重建被遮挡背景，并跟踪运动历史。网络未被显式监督去做背景建模，却自发学到了 #Lin et al., 2021。

为何联合 matting + segmentation

三个理由 #Lin et al., 2021：(1) 人像抠像与人像分割强相关，trimap-free 网络必须语义理解场景；(2) matting 数据集只提供合成 $\alpha$/$F$ 真值，合成常因前后景光照不同而失真，分割数据集是真实复杂场景 → 联合训练防过拟合；(3) 分割数据量大得多。

数据集

四阶段渐进训练

设计思路：让网络逐步见更长序列与更高分辨率以省训练时间。Adam，batch $B=4$ 跨 4× V100 32G，混合精度训练 #Lin et al., 2021。

分割训练交错策略

分割训练穿插在每次 matting 迭代之间 #Lin et al., 2021：奇数次迭代后跑图像分割（$T'=1$，$B'=B\times T$），偶数次后跑视频分割。图像被当作"仅第一帧"的序列喂入 → 迫使分割在无 recurrent 信息时也鲁棒，避免模型对时序状态的过度依赖。

损失函数

对所有 $t\in[1,T]$ 施损失。$\alpha$ 用 L1 + 拉普拉斯金字塔 + 时序一致性（沿用 FBA / Context-Aware Matting 的最佳实践）#Lin et al., 2021：

前景 $F$ 仅在 $\alpha^*_t>0$ 像素上算（沿用 BGMv2 做法）。总 matting 损失（时序一致性权重 ×5）：

分割用 BCE（仅人这类）：$L^S = S^*_t\bigl(-\log(S_t)\bigr) + (1-S^*_t)\bigl(-\log(1-S_t)\bigr)$。

图 4：合成训练样本。末列是每像素沿时间的标准差，可视化运动强度。前景/背景均施 motion + temporal 增强 #Lin et al., 2021。

合成基准：低分辨率 alpha 对比

在 VM/D646/AIM 上各取 100 帧 ×（5 视频 + 5 图像）背景合成测试集，对比 DeepLabV3、FBA（用 DeepLabV3 合成 trimap）、BGMv2（只见首帧 GT 背景）、MODNet #Lin et al., 2021。指标：MAD/MSE（×1e-3）、Grad、Conn、dtSSD（×1e-2，时序一致性）。

RVM 在 alpha 全指标领先，前景预测落后 BGMv2（其有 GT 背景）但优于 FBA、MODNet #Lin et al., 2021。注意 dtSSD 全面领先 → 时序一致性优势明确。

高分辨率 alpha 对比

DGF 端到端可训，故 MODNet 改用非可学 Fast Guided Filter (FGF) 上采样，两者均用 $s=0.25$ 下采样 #Lin et al., 2021。

模型大小与速度

RVM 仅 MODNet 58% 参数，最轻量 #Lin et al., 2021。速度（FP32，Nvidia GTX 1080Ti，TorchScript + BN fusion）：

图 5：发丝细节 alpha 对比（Input / FBA / BGMv2 / MODNet / Ours）。RVM 的 alpha 蒙版即发丝级精细轮廓，明显优于基线 #Lin et al., 2021。

图 6：时序一致性对比。MODNet 在低置信区域闪烁，RVM 结果连贯——recurrent state + $L_{tc}$ 损失的双重保障 #Lin et al., 2021。

1. 时序信息作用 #Lin et al., 2021：alpha MAD 在前 15 帧显著下降后稳定；MODNet 即使用邻帧平滑仍大幅波动；关闭 recurrence（传零 recurrent state）质量与一致性均恶化。→ 时序信息确实提升质量与一致性。
2. 分割训练目标：COCO 人像子集 mIOU——DeepLabV3 68.93、MobileNetV3+LR-ASPP 58.58、Ours（alpha 阈值 0.5）60.88 / Ours（分割输出）61.50；若仅用预训练权重初始化、去掉分割目标 → 仅 38.24。→ 联合训练目标使模型鲁棒，否则过拟合合成分布。
3. DGF vs FGF：DGF 仅微小 size/速度开销（3.749M/104.2FPS vs FGF 3.748M/109.4FPS）；DGF 的 Grad 更好（30.06 vs 31.44）且 dtSSD 更好（1.64 vs 1.89），因考虑了 recurrent decoder 的 hidden features。
4. 静态 vs 动态背景：RVM 两者皆可，静态略好（易重建像素对齐背景）；BGMv2 动态背景崩坏（MAD 42.45 vs 静态 4.33），MODNet 无偏好。
5. 大模型变体：ResNet50 骨干 + 更多 decoder 通道 → 26.890M 参数 / 102.9MB / 71.1 FPS (HD) / MAD 5.81 / dtSSD 1.78，适合服务端。

图 7：挑战案例。背景有人时主体歧义；复杂场景下抠像更难 #Lin et al., 2021。

1. alpha 蒙版即发丝级精细轮廓。抠像输出的 $\alpha$ 是逐像素软前景概率，本质上是最精细的人体/物体轮廓（含半透明发丝边缘）。trimap-free 抠像 ≈ 自动提取发丝级轮廓。图 5 的发丝细节对比直观证明 RVM 在发丝边界远胜基线。
2. 时序一致性 = 视频轮廓的时间稳定。视频轮廓提取的核心难点之一是帧间轮廓闪烁。RVM 的 ConvGRU recurrent state + 时序一致性损失 $L_{tc}$ 直接解决该问题，dtSSD 指标全面领先。图 6 直观对比 MODNet 栏杆处闪烁 vs RVM 一致。
3. recurrent 时序引导范式。RVM 是"recurrent hidden state 作时序载体"这一范式在抠像/轮廓任务的 landmark。与 XMem 的"多级 memory + attention readout"范式互补——前者轻量因果适合直播，后者长程显存可控适合长视频。两者构成视频轮廓提取模型的两大时序机制分支。
4. trimap-free 自动化。去掉 trimap/背景先验，使轮廓提取从交互式走向全自动，契合"全自动视频轮廓提取"主线。
5. 背景建模的可解释通道。recurrent state 自动重建背景的发现（第 4 章）启示——视频轮廓提取可借助隐式背景建模消减背景干扰、稳定前景轮廓。

论文自述局限 #Lin et al., 2021：偏好目标主体清晰的视频；背景有人时主体歧义；偏好简单背景以产出更准确抠像。