YOSO

全景分割是 Kirillov 等人 #Kirillov et al., 2019 在 2019 年正式定义的任务：给输入图像的每个像素同时分配一个语义类别和一个实例身份。语义标签天然分两类——stuff 是摊开的、数不清的背景概念（天空、道路），things 是可数的物体（人、车）。这种划分自然把全景分割拆成两个子任务：stuff 走语义分割、things 走实例分割。#Hu et al., 2023 任务的难度也由此而来：要让一个网络同时把"数不清的背景"和"数得清的物体"都切对，传统做法是 semantic 与 instance 两条分支各跑一遍——两条分支都得重，于是实时就无望。

作者把这条赛道上的努力整理成图 1 的四象限：(a) 双分支（PanopticFPN/UPSNet #Xiong et al., 2019 这类，semantic head + Mask R-CNN #He et al., 2017 风格 instance head 并存）；(b) 先给所有类别生成 semantic mask，再用 box/point 定位 instance（PanopticDeepLab #Cheng et al., 2020、LPSNet #Hong et al., 2021、RealTimePan #Hou et al., 2020）；(c) 用动态卷积为 things + stuff 同时预测掩码（PanopticFCN #Li et al., 2021、K-Net #Zhang et al., 2021、MaskFormer #Cheng et al., 2021）；(d) YOSO 自己。#Hu et al., 2023

这条路上有个长期未解的两难——也正是 YOSO 要打的靶子：一方面，要精度就得用重的 neck 和 head（多尺度 FPN、Transformer decoder，如 K-Net / MaskFormer #Zhang et al., 2021 #Cheng et al., 2021），于是实时做不到；另一方面，把模型做小（FPSNet #De et al., 2020、LPSNet #Hong et al., 2021、RealTimePan #Hou et al., 2020）能跑快，但泛化会掉。#Hu et al., 2023 准而慢与快而泛化差，是实时全景分割长期被卡住的二元困局。YOSO 的回答是：不必在范式上另起炉灶，而是在 (c) 路线（统一 kernel × feature map）上把每个模块都做工程级的提速——一次分割拿全景，且实时。

作者是厦门大学 Rongrong Ji / 刘娟娟团队（多媒体可信感知与高效计算教育部重点实验室），这条"高效视觉模型"线与他们对车载、嵌入式感知的兴趣一致。#Hu et al., 2023

先说清评测量什么，才能理解"实时"的代价。全景分割的标准指标是 PQ（Panoptic Quality） #Kirillov et al., 2019，对每个类别把预测掩码与真值做 IoU 匹配后

它把分割质量（分子，匹配对的 IoU 之和）与检测召回（分母，漏检 FP/FN 都罚）合在一个数里，stuff 和 things 分开报 PQ^s / PQ^t。#Kirillov et al., 2019 所以"46.4 PQ"是分割精度与召回的复合分数，不是单纯 mIoU 或 AP。

明确了指标，再看 (c) 路线为什么重。K-Net / MaskFormer 这类统一 kernel 范式 #Zhang et al., 2021 #Cheng et al., 2021 把全景分割建模成一组 panoptic kernel 与一张特征图做动态卷积：每个 kernel 负责一个潜在实例或 stuff 类别，kernel × feature 出一张掩码，一次前向就把 things + stuff 都生成。范式本身很优雅——免 NMS、免两套分支。但它把两处算力开销留了下来：① 特征提取端需要重的多尺度 FPN 把 backbone 各层特征聚成高分辨率特征图，插值-first 的聚合方式在 GPU 上又慢又费 FLOPs；② kernel 生成端需要多头交叉注意力（MHCA）让 kernel 与特征交互，标准 MHCA 复杂度随 query 数和特征维度二次膨胀。#Hu et al., 2023

作者没有否定 (c) 范式，而是指出它的两个模块都"太重"，可以分别替换。突破口是两条等价性：插值-first 聚合与卷积-first 聚合数学上等价，多头交叉注意力可被可分离动态卷积等价实现。一旦等价，训练维持原样、推理换快版本即可——这正是 Part 3 两个核心模块的来路。

3.1 整体 pipeline：从图像到一张张掩码的全链路

YOSO 的前向是一条单阶段链路 #Hu et al., 2023：ResNet-50 主干（ImageNet 预训练）抽多尺度特征 → Feature Pyramid Aggregator（含 CFA）把各层聚成一张高分辨率图像特征图 → Separable Dynamic Decoder（含 SDCA）生成一组 panoptic kernel → kernel 与特征图做2D 动态卷积一次出全部掩码 → 分类头给每个 kernel 一个类别 → 后处理把 stuff 合并、things 独立。整条路无 NMS、无两套分支，you only segment once。

这里有个建模关键：全景分割被写成端到端集合预测，输出 $\boldsymbol{M}\in\mathbb{B}^{n\times h\times w}$（$n$ 个二值掩码）+ $\boldsymbol{L}\in\mathbb{R}^{n\times l}$（每个掩码在 $l$ 个类别上的 logits），遵循 DETR #Carion et al., 2020 的二分匹配训练、免 NMS。$n=100$ 个 proposal kernel 构成集合上界。#Hu et al., 2023 Part 3.2 与 3.3 分别在特征端和 kernel 端各做一次"等价换快"。

graph TD
    IMG["输入图像"] --> BB["ResNet-50 backbone (ImageNet 预训练)"]
    BB --> AGG["Feature Pyramid Aggregator (CFA)
多尺度特征 → 单张高分辨率特征图"]
    AGG --> FEAT["图像特征图"]
    BB --> DEC["Separable Dynamic Decoder (SDCA)
生成 n=100 个 panoptic kernel"]
    DEC --> KER["panoptic kernels"]
    FEAT --> DC["2D 动态卷积 (kernel × feature)"]
    KER --> DC
    DC --> MASK["n 张掩码 M"]
    MASK --> CLS["分类头 → 类别 L"]
    CLS --> POST["后处理: stuff 并集 / things 独立 / 重叠取 max"]
    POST --> OUT["全景分割输出"]
  

3.2 CFA：把"插值优先"重参数化成"卷积优先"

图 2：Feature Pyramid Aggregator。多级特征先用 1×1 卷积压缩通道，再聚合；CFA 把"先双线性插值上采样、再 1×1 卷积"的 IFA 换成"先 1×1 卷积、再双线性插值"，二者数学等价但卷积优先在 GPU 上显著更快（来源：Hu et al., 2023, Fig.2）。

动机：聚合器要把 backbone 的 $c_2,c_3,c_4,c_5$ 多级特征融合成一张高分辨率特征图。标准做法是 Interpolation-First Aggregation (IFA)：先把低分辨率特征双线性插值上采样到统一分辨率，再做 1×1 卷积（无 bias）融合通道。问题在于高分辨率上做卷积，FLOPs 和 GPU 延迟都大。#Hu et al., 2023

直觉：双线性插值是个线性算子，1×1 卷积也是线性算子，两个线性算子的顺序理论上可交换。如果把卷积挪到插值之前——在低分辨率上先卷积、再插值上采样——卷积就在小张量上做，FLOPs 大幅下降，而结果不变。这就是 Convolution-First Aggregation (CFA)。

机制（等价性证明）：作者用双线性插值的两个性质给出证明。双线性插值对输入具有齐次性和可加性（任何线性算子都满足），这意味着它是一个线性算子。设双线性插值算子为 $\mathcal{U}(\cdot)$、1×1 卷积（无 bias）为 $\mathcal{W}(\cdot)=W\cdot$，则

即"先卷积后插值"与"先插值后卷积"完全等价。#Hu et al., 2023 但二者的 FLOPs 相差悬殊：IFA 在 $h\times w$ 高分辨率上做卷积，CFA 在低分辨率上做。其 FLOPs 比为

其中 $d$ 为通道维度，$n$ 为 proposal 数，$k$ 为动态卷积核大小。实测：聚合器单模块 FLOPs 从 16.6G 降到 2.1G、GPU 延迟从 4871µs 降到 1877µs——2.6× GPU 提速，且因为数学等价，性能无损失。#Hu et al., 2023

3.3 SDCA：用可分离动态卷积等价实现多头交叉注意力

图 3：Separable Dynamic Decoder。三子模块：pre-attention（用 hard sigmoid 二值门控生成 masked feature）、separable dynamic convolution（SDCA，用 depthwise + pointwise 可分离动态卷积实现多头交叉注意力）、post-attention（聚合输出）。SDCA 把标准 MHCA 的多头权重共享给一组动态卷积核（来源：Hu et al., 2023, Fig.3）。

动机：kernel 生成端要让 panoptic kernel（$n=100$ 个 query）与图像特征做交互，标准做法是多头交叉注意力（MHCA），其复杂度随 query 数和维度二次膨胀，是 (c) 路线另一处重负担。#Hu et al., 2023

直觉：多头注意力本质是"多个并行的线性投影 + softmax 加权求和"。作者发现这一串操作可以被1D 动态卷积等价实现——卷积核的"通道维"对应"头"维，于是多头的并行性被卷积的通道并行吃下；再把动态卷积拆成 depthwise + pointwise（MobileNet #Howard et al., 2017 的老把式），就得到 Separable Dynamic Convolution Attention (SDCA)。

机制（演进链）：先用 1D 卷积等价实现多头注意力的三步操作（投影、加权、输出投影）#Hu et al., 2023——即

的标准多头交叉注意力，可被一组核由 $Q$ 动态生成的 1D 卷积等价替代，得到 Dynamic Convolution Attention (DCA)

其中卷积核 $W(Q)$ 由 query $Q$ 动态生成（而非固定参数）。再按 depthwise + pointwise 分解 $W(Q)$，就得到核心贡献 SDCA：

SDCA 相对标准 MHCA 的 FLOPs 比为

其中 $d=256$ 为隐藏维度、$n=100$ 为 proposal 数、$t$ 为动态卷积核大小（消融最佳 $t=5$）。#Hu et al., 2023 一处记号修正：原文式 (6) 右侧写作 $\frac{2d+n}{k+n}$，其中 $k$ 应为 kernel size $t$（与左式及上下文一致，核查 .tex 源码第 499 行确认系记号笔误），本文统一用 $t$。

三个子模块串成 decoder：① pre-attention 用 hard sigmoid 二值门控从特征图生成 masked feature，给后续动态卷积一个聚焦的输入

其中 $\boldsymbol{S}$ 为聚合特征图、$\boldsymbol{Q}$ 为 proposal kernel、$\sigma$ 为阈值 0.5 的 hard sigmoid（二值门控）、$r$ 为 reshape；② separable dynamic convolution（SDCA 本体）做 kernel-feature 交互；③ post-attention 用 multi-head self-attention + FFN 聚合输出，生成最终的 panoptic kernel。#Hu et al., 2023 整个 decoder 的 pre-attention 设计"Inspired by"K-Net #Zhang et al., 2021，这是 YOSO 与 K-Net 最直接的血脉联系。

3.4 一次动态卷积出全景：mask 生成与迭代精修

kernel 与特征图就位后，2D 动态卷积把 $n$ 个 panoptic kernel 作用在图像特征图上，一次生成 $n$ 张掩码——things 的实例掩码和 stuff 的语义掩码同源同出，这是 "you only segment once" 的字面落点。#Hu et al., 2023 decoder 还支持迭代精修（cascade，$T$ 个 stage），每个 stage 用上一层输出更新 kernel 再做一次动态卷积，逐步锐化掩码边界。消融显示 $T=2$ 是速度-精度折中（见 Part 6 tab9）。

YOSO 在四个数据集上分别训练（非联合预训练），遵循 DETR 式端到端集合预测：一对一 Hungarian 二分匹配，无 NMS / anchor。#Hu et al., 2023 训练用 stuff 并集合并、things 独立、重叠区取 max 的全景格式化策略。主干预用 ImageNet 预训练的 ResNet-50。

损失函数：作者声明采用分类损失 + 掩码损失（含 dice 与 cross-entropy 这类全景分割常用项），但原文未给出损失的具体数学形式与各项权重——这是复现的一个明确缺口（详见文末披露表）。动态卷积分组方式、hard sigmoid 不可导处的处理、迭代更新的具体公式也未明确给出。#Hu et al., 2023

训练配置披露（10 项逐项标注）

YOSO 是单图像、单次前向的实时模型——没有视频流的 chunk / cache / causal mask 那一套，它的"实时"体现在单张图端到端跑过 45 FPS。推理链路是训练链路的"提速版" #Hu et al., 2023：

推理时还有两个旋钮值得拎出来。其一是迭代 stage 数 $T$：decoder 在一次前向内对 kernel 做 $T$ 轮 cascade 精修，每轮用上一层输出更新 kernel 再做一次动态卷积，掩码边界逐轮锐化——消融显示 $T$ 从 1 加到 2 PQ 从 45.7 跳到 47.0（+1.3），再加到 3 只多 0.5 但 FPS 掉，故推理取 $T=2$。其二是分辨率-FPS 权衡：YOSO 的速度对输入分辨率高度敏感，COCO 512,800 跑 45.6 FPS，Mapillary 2048,2048 直接跌到 7.1 FPS——高分辨率下动态卷积在更大特征图上展开，开销随 $h\times w$ 线性涨。这意味着把"46.4 PQ@45.6 FPS"迁移到高分辨率下游时不能照搬，需在分辨率与 FPS 间显式权衡。#Hu et al., 2023

6.1 实验配置

6.2 主实验：四库全景分割

图 4：COCO 与 Cityscapes 上 FPS 对 PQ 的速度-精度权衡。YOSO 落在曲线左上角——同精度档下更快、同速度档下更准，明显优于 PanopticDeepLab / LPSNet / RealTimePan 等实时档对手（来源：Hu et al., 2023, Fig.4）。

6.3 消融：五个旋钮，看哪个最值钱

图 5：FLOPs 减少比等高线。左 CFA：输入特征图通道维度是降 FLOPs 的关键；右 SDCA：输入 token 的隐藏维度是关键。两者都印证"通道/隐藏维度越大，等价替换省得越多"（来源：Hu et al., 2023, Fig.5）。

6.4 失败案例与定性结果

图 6：COCO 验证集全景分割定性结果（来源：Hu et al., 2023, Supplementary Fig.1）。

作者诚实承认的局限 #Hu et al., 2023：① Mapillary Vistas 的 PQ^t 仅 24.3，落后 SOTA——things 类别多、proposal kernel $n=100$ 在多类别场景可能不够，这恰是 K-Net/MaskFormer 重 decoder 的合理性所在；

附录的实例分割附加实验（tab11）还揭示一个有趣侧面 #Hu et al., 2023：YOSO 用 panoptic 训练的模型直接做实例分割（不专门训练），550 尺度达 34.7 mAP@38.7 FPS，大物体 AP^l=58.6 全表最高（SOLOv2 55.4、SparseInst 51.9），608 尺度 AP^l 进一步到 59.2——说明 panoptic kernel 对大物体分割有天然优势，一个 kernel 对应一个完整实例而非碎片化激活。

把 YOSO 放回地图：它是 (c) 路线（统一 kernel × feature map）的工程高效化变体，不是新范式。它继承 K-Net #Zhang et al., 2021 / MaskFormer #Cheng et al., 2021 的统一 kernel 范式，只批评其"模块太重"而不否定范式本身——pre-attention 明确"Inspired by"K-Net，主表对标 K-Net 47.1 PQ。#Hu et al., 2023 两个提速点的来源也清晰：CFA 来自结构重参数化 #Ding et al., 2021（RepVGG 系，但用双线性插值齐性-可加性给出数学等价证明，比 RepVGG 系更硬）；SDCA 来自 MobileNet #Howard et al., 2017 的 depthwise/pointwise 分解 + linear attention 系列 #Kitaev et al., 2020。

一句话收束：YOSO 没有发明新范式，但它把"证明等价再换快实现"这件事做得很漂亮——CFA 靠双线性插值齐性-可加性给出数学等价，SDCA 靠 depthwise/pointwise 分解给出多头注意力的等价实现。读懂这两条等价性，比记住 46.4 PQ 这个数字更值钱。