视频目标分割参考

视频目标分割与跟踪（Video Object Segmentation and Tracking, VOST）是分割与跟踪的交集——分割给精确边界帮助跟踪锁定目标，跟踪给时序一致性帮助分割抗遮挡漂移 #Xu et al., 2025。综述聚焦 promptable VOST：首帧给 prompt（mask / point / box / text），模型在后续帧传播并保持 ID。它把半监督、弱监督、交互式三类设定的方法要素吸收进「prompt 驱动」统一框架，不单独展开 UVOS、IVOS、RVOS、LVOS 作为独立任务线。

该综述的作者团队来自 UT Southwestern Medical Center / University of Pennsylvania / Mayo Clinic，明显偏医学影像背景，因此综述带医学 VOST 倾斜——专设一节医学数据集（Table 2，9 个数据集覆盖内镜/超声/cine-MRI/结肠镜/显微镜），并在未来方向单列「医学导向基准与数据集」一节。这点与 [30,32,46] 等偏自然场景的老 survey 形成互补定位 #Xu et al., 2025。

综述最有价值的贡献是用三时间维度组织所有 SAM/SAM2 方法，而非按任务子类型切分 #Xu et al., 2025。每个维度对应一个核心问题：

图 1 · 综述 Figure 3：promptable VOST 方法总览。三组对应 past（记忆）/ present（当前帧判别）/ future（运动轨迹），下方列出各维度代表方法与未来研究方向 #Xu et al., 2025。

为什么不按任务子类型切分

既有 survey 多按 SVOS（半监督）/ UVOS（无监督）/ IVOS（交互式）/ RVOS（引用）/ LVOS（长视频）切分任务线 #Gao et al., 2023; Yao et al., 2020。但 SAM2 后这些任务线的方法要素高度融合——SAM2 的 streaming memory 既服务半监督也服务交互式，memory pruning 既解长视频也解遮挡。综述改用三时间维度，把跨任务线的方法统一进同一骨架，凸显 SAM2 前后方法论的真正差异点：pre-SAM2 在 past 维度做外挂记忆，SAM2 把 past 维度原生进基座，post-SAM2 集中修补 past 维度的三大缺陷 #Xu et al., 2025。

past 维度是综述最厚重的部分，给出记忆表示的三层 + 更新两层，共五类分类 #Xu et al., 2025：

SAM2 的 streaming memory：把外挂记忆原生化

SAM2 的架构由六件套构成：image encoder（Hiera，MAE 预训练的多尺度 hierarchical vision transformer）+ prompt encoder + mask decoder + memory attention（L 个 transformer blocks，self-attention 精修当前帧特征 + cross-attention 整合历史记忆）+ memory encoder（轻量卷积融合 image encoder 特征与预测 mask）+ memory bank（FIFO 队列存固定数量最近帧）#Ravi et al., 2024。关键转折在于：pre-SAM2 把记忆当外挂模块（STM 的全过去帧密集记忆、XMem 的三级手工管理），SAM2 把 memory encoder+bank+attention 原生进基座，紧耦合提效——推理速度 6× 于 SAM，且首次在统一框架下服务图像与视频 #Ravi et al., 2024。

图 2 · 综述 Figure 5：SAM2 架构。memory bank 存储历史帧特征，memory attention 模块基于存储的记忆更新当前帧特征，memory encoder 融合图像与预测 mask 特征供后续复用。FIFO 队列保留固定数量最近帧 #Ravi et al., 2024。

图 3 · 综述 Figure 1：基础 VOST 管线。encoder-decoder 架构 + 记忆模块读写历史帧特征，是 pre-SAM2 与 SAM2 共享的骨架，区别仅在记忆是否原生 #Xu et al., 2025。

综述明确点名 SAM2 暴露的三大未解缺陷 #Xu et al., 2025：

post-SAM2 工作沿四条路线分别修补这三缺陷 #Xu et al., 2025：

路线一：Pruning-based 记忆选择

核心思路是在 FIFO 之上加选择策略——只把可靠/关键帧进 memory bank，从源头切断错误累积与冗余。五个代表方法各有选择信号：

• Medical SAM2 / MedSAM2 #Zhu et al., 2024：self-sorting memory bank，按 confidence + dissimilarity 双指标选帧；2D 切片当视频训练，455K 3D pair + 76K 视频帧。
• SurgSAM2 #Liu et al., 2025：cosine similarity 剪冗余帧，实时手术场景丢弃相似帧省算力。
• SAMURAI #Yang et al., 2025：motion-aware memory selection，三分数——mask affinity + object occurrence + motion score；额外用 Kalman filter 预测 bbox，零样本跟踪强，抗多相似对象/快运动。
• SAM2Long #Ding et al., 2025：training-free constrained memory tree，多分支并行 + 累积 IoU 质量分选，直接解 FIFO 的错误累积。
• MoSAM #Yang et al., 2025b：时空双级选择——时间级 IoU + 遮挡分，空间级概率图丢弃不可靠区域，做到区域级可靠筛选。

图 4 · 综述 Figure 14：SAMURAI motion-aware memory selection。三分数（mask affinity + object occurrence + motion score）+ Kalman filter bbox 预测，是 post-SAM2 pruning + future 双维代表 #Xu et al., 2025。

图 5 · 综述 Figure 15：SAM2Long constrained memory tree。多分支并行 + 累积 IoU 质量分，training-free 解决 FIFO 错误累积——本质是给 memory bank 加分支竞争 #Xu et al., 2025。

路线二：域微调（医学 / LoRA）

MedSAM2、BioSAM2、SurgSAM2 直接在医学域微调 SAM2；MLE-SAM（MoE-LoRA 多模态专家）、VesselSAM（AtrousLoRA + ASPP 多尺度，主动脉血管）走 LoRA 路线 #Xu et al., 2025。这条路线不解决 FIFO 结构问题，而是让 SAM2 在特定域的边界精度达标。

路线三：运动集成

SAMURAI 把 Kalman filter 进 SAM2 的 memory selection；Segment Any Motion 用 depth + 轨迹分组进 SAM2；SAM-PT 用 point tracker（PIPs++/CoTracker）的轨迹当 prompt #Xu et al., 2025。本质是给 future 维度补运动先验，缓解 prompt inefficiency。

路线四：高效化

MobileSAM、EfficientSAM、SAM-Lightening、RepViT-SAM、SqueezeSAM 主要面向 2D 静态场景；SAM2 重 encoder 限制资源受限部署，VOST 的高效化仍是开放问题 #Xu et al., 2025。

综述的数据集章分两张表，反映作者医学背景 #Xu et al., 2025。

Table 1 · 自然场景 VOST 数据集

Table 2 · 医学视频数据集

综述采用一组标准指标度量分割与跟踪性能，覆盖区域级精度、边界精度、时空对象级一致性、bbox 跟踪与速度五类 #Xu et al., 2025。

区域级与边界精度（eq.1–4）

IoU / Jaccard J 度量区域重叠 #Xu et al., 2025，其中 $P$ 为预测正像素集，$G$ 为 ground-truth 正像素集：

Boundary F1 Score $F$ 度量边界精度——这正是与轮廓直接对接的指标，其中 precision 与 recall 在边界像素上计算：

$F$ 越高表示预测边界与 ground-truth 边界越吻合——对视频轮廓提取而言，$F$ 是轮廓质量的核心代理指标。J&F 为二者算术平均，是 DAVIS 主指标：

Dice 系数对小结构更敏感：

时空对象级与 bbox 跟踪（eq.5–7）

Challenge IoU（CIoU）遵循 EndoVis2018 协议，在对象级全视频上计算时空全局 IoU，而非逐帧平均 #Xu et al., 2025，其中 $N$ 为总帧数，$P_i, G_i$ 为第 $i$ 帧预测与 ground-truth mask：

CIoU 累积所有帧区域后做全局 IoU，保证时序一致的对象级评估。bbox 跟踪两指标，Success Rate 为 IoU 超阈值帧占比（阈值如 0.5）：

Precision 为 bbox 中心距离小于阈值帧占比（阈值如 20 像素）：

最后 FPS 度量推理速度，对手术等实时场景关键 #Xu et al., 2025。

综述把 VOST 方法史串成四阶段 #Xu et al., 2025：

四阶段的核心演进逻辑：pre-SAM2 在 past 维度做外挂记忆（STM/XMem 手工管理策略），SAM 时代把 SAM 当 prompt 生成器或 refiner 外挂 tracker，SAM2 把 past 维度原生进基座（streaming memory），post-SAM2 集中修补 past 维度的 FIFO 三大缺陷。present 维度（PETL/LoRA）和 future 维度（运动估计）贯穿始终但权重渐增——post-SAM2 的 SAMURAI 把 future（Kalman）与 past（memory selection）首次原生耦合。

综述 Discussion 列出七个开放方向 #Xu et al., 2025：

1. 记忆抽取与更新：现有方法累积冗余/无关信息；pruning 忽略时序一致性、固定时间窗。未来：hierarchical（sensory/short/long）memory in SAM2；residual learning 增量纠错。医学场景需任务先验（心脏周期 vs 呼吸 vs 关节运动模式各异）。
2. Language-Vision 多模态融合：RefSAM(T5)、SAM-Track(Grounding-DINO)、SAMWISE、SAM2-LOVE 已探索自然场景；医学 VOST 无 language-vision 工作——缺大规模医学视频-语言数据集。这是明确回流机会点。
3. 先验知识改运动估计：SAM-PD/PA-SAM/DAM4SAM 用运动连续性自动生成 prompt；SAM2 级在更深层编码平滑轨迹假设。混合智能（眼动 tracking 当 prompt + 认知先验）。
4. 高效跟踪分割：MobileSAM/EfficientSAM/SAM-Lightening/RepViT-SAM/SqueezeSAM 主要面向 2D 静态；SAM2 重 encoder 限制资源受限部署。未来：pruning + quantization + model refactorization。
5. 医学导向基准与数据集：通用基准不覆盖临床复杂性（器官形变、低对比、稀疏标注）。需覆盖 2D 视频（荧光/超声/内镜）、3D（CT/MRI 体数据）、2D-on-3D 配准（荧光配 3D 扫描，面外运动）。提到 CyberKnife Xsight Lung Tracking 无标记投影驱动肿瘤跟踪。
6. 端到端分割+跟踪联合学习：从解耦管线到统一训练，利用跨任务线索（appearance consistency / motion priors / shape constraints）。BioMedParse、VisTR、Cell-TRACTR 示例。
7. 检测辅助筛查与管线自动化：Grounding-DINO 自动 prompt 替代手工标注，detection-first cascade 实现 population-scale 筛查。

与视频轮廓提取的七个对接点