动作检测模型全景

📄 DEAR: Depth-Enhanced Action Recognition（ECCV 2024 Workshop）

作者：Rahmani et al., University of Surrey
代码：GitHub

核心问题：2D RGB 在杂乱场景中难以区分动作，人类视觉依赖 3D 深度信息来理解空间关系，但深度传感器不普及。

方法：三编码分支 + 晚期融合

• RGB 分支：Side4Video（S4V），用冻结的 CLIP ViT-B/16 + 并行可训练侧支提取空间特征
• Depth 分支 1：同样的 S4V 架构处理 MiDaS 生成的 depth map
• Depth 分支 2：VideoMamba 处理 depth map（Mamba 对稀疏深度特征有不同感知力）
• 融合：Gated Cross-Attention（GCA）双向融合 RGB↔Depth 特征，最后对两路 score 取平均

关键结果（Something-Something V2）：

类别级分析：深度信息对特定动作提升显著——"Stuffing something into something" +10%（63%→73%），"Dropping something onto something" +5%，"Pushing something so that it almost falls" +5%。这些动作都涉及物体间的空间关系。

对猫咪项目的启示：

• ✅ 无需额外硬件——MiDaS 从 RGB 生成 depth map，硬件成本不变
• ✅ 架构可借鉴——双流 + GCA 融合是通用模式，可替换 backbone 为 X3D-M
• ⚠️ 提升幅度有限——整体 +0.6%，但对涉及空间关系的动作（猫跳上/跳下、钻进盒子）提升可能更大
• ⚠️ VideoMamba 分支增加复杂度——边缘部署时可能只需 RGB+Depth(S4V) 两分支

📄 TrAction: Action Recognition with Sparse Trajectories（arXiv 2026.06）

作者：Meier et al., University of Göttingen / Max Planck Institute
代码：GitHub

核心问题：密集 RGB 视频模型存在两大缺陷——(1) 内存和计算随分辨率/时长线性膨胀；(2) 强烈的外观偏差（appearance bias），模型倾向于从物体/背景推断动作而非运动本身。

方法：纯运动驱动的稀疏轨迹表示

• 轨迹提取：CoTracker3 跟踪稀疏 2D 点（数百个），跨帧维持 identity 和遮挡推理
• 2.5D 增强：用单目深度估计为每个轨迹点添加深度坐标，得到 (x, y, z, t) 序列
• 轨迹 Transformer：简单 transformer 架构，直接在轨迹序列上操作
• Masked-Trajectory Pretraining：类比 MAE 的掩码预训练，随机遮蔽部分轨迹点后重建，下游分类提升 ~5 个点

关键结果：

关键发现：轨迹特征与外观特征高度互补——在运动判别性强的子集上（外观模型最弱的地方），轨迹带来的提升最大。在 Chirality-in-Action benchmark（时间反转敏感性测试）上，纯轨迹方法超过 V-JEPA。

对猫咪项目的启示：

• ✅ 天然适配猫咪场景——猫的行为（走/跑/跳/舔毛/抓挠）主要由运动模式区分，外观信息冗余度高
• ✅ 数据量极小——数百个点的轨迹 vs 密集 RGB 帧，存储和传输成本大幅降低
• ✅ 对背景/光照鲁棒——轨迹不含外观信息，不受猫毛色变化、环境光照影响
• ⚠️ CoTracker3 本身有计算开销——轨迹提取阶段需要运行跟踪模型，端到端延迟需评估
• ⚠️ 静态行为无效——猫趴着/睡觉时几乎无轨迹信号，需与 RGB 分支互补
• ⚠️ 动物轨迹跟踪未验证——CoTracker3 在人体场景上训练，猫体跟踪质量需实测

📄 3DInAction: Understanding Human Actions in 3D Point Clouds（arXiv 2023）

作者：Ben-Shabat et al., ANU / Technion
代码：GitHub

核心问题：3D 点云序列的动作识别长期被忽视——点云无结构、无序、点数可变，且帧间无点对点映射，时空表征学习困难。

方法：t-patch + 分层架构

• t-patch（时序点块）：在时间窗口内对局部点区域进行分组，捕捉局部表面形变和运动
• 分层 MLP 架构：逐层聚合 t-patch 特征，从局部到全局构建时空表征
• 逐帧预测：不同于大多数方法的 clip-level 分类，3DInAction 输出每帧的动作标签
• 无需先验：不依赖骨架提取或人体检测，是通用的 3D 动作识别方法

关键结果：

相关进展：2025 年的 "Human Action Recognition from Point Clouds over Time" 进一步扩展了这条路线——支持单目深度估计生成的点云（不依赖深度传感器），结合稀疏卷积 + 点嵌入的 backbone，在 NTU RGB-D 120 上达到 89.3%（传感器 + 估计点云集成），与骨架方法竞争力相当。

对猫咪项目的启示：

• ⚠️ 数据获取是最大瓶颈——需要深度传感器（Kinect/LiDAR）或多视角重建，远超普通监控摄像头的成本
• ⚠️ 单目估计点云质量存疑——2025 年论文虽支持估计点云，但在人体场景上验证，猫的毛发表面会导致深度估计严重退化
• ✅ 逐帧预测有价值——猫咪行为监控需要实时事件检测，clip-level 分类延迟过高
• ✅ 无需骨架先验——对四足动物友好，不需要定义猫的关节拓扑

分层策略的理由

• 常见行为（走/跑/跳/进食/舔毛）在 Animal Kingdom 和 MammalNet 中有数据，可以用 X3D-M 做 fine-tune，路线清晰
• 异常行为（呕吐/抽搐）无公开数据，走 anomaly detection 范式更实际——不要求精确分类，而是检测"不正常"的帧，再上报云端
• 姿态估计是可选层：如果骨架路线验证效果好，SuperAnimal + STGCN++ 可以作为轻量替代方案