PMTNet

在 上一篇模型全景 中，我们提到 PMTNet (2026) 是目前公开文献中唯一专门面向非受限视频中猫咪行为识别的工作。对于我们的端侧宠物行为识别项目，它具有极高的参考价值：

1. 它针对的物种正是家猫，而不是野生动物或哺乳动物泛化研究
2. 它处理的是真实非受限视频，与家庭监控场景高度相关
3. 它提出的部件级时序建模思路，对解决猫遮挡、姿态变化、尾巴/头部不稳定可见等问题非常对症

与人类动作识别相比，猫行为识别有几个独特难点：

难点 1：关键行为线索分散在可变形的局部部件

猫的头部、尾巴、耳朵等部位高度灵活，且携带大量行为信息。例如：

• 尾巴摆动 → Tail-Expressive 行为
• 头部低伏 + 耳朵后压 → 紧张/攻击
• 全身理毛 → Grooming

这些局部部件在视频中经常部分遮挡或完全消失，传统全帧视频分类模型难以稳定捕捉。

难点 2：非受限视频的质量问题

真实家庭监控视频面临：

• 光照变化、运动模糊
• 多猫重叠、背景杂乱
• 相机角度和距离变化
• 猫的姿态高度非刚性（蜷缩、跳跃、快速转身）

难点 3：部件检测的不稳定性

即使能检测出身体、头部、尾巴，检测器在视频序列中也会时有时无。如何在部分部件缺失的情况下仍然稳定识别行为，是 PMTNet 要解决的核心问题。

PMTNet 将猫行为识别解耦为三个阶段：

flowchart LR
  S1["Stage 1
部件检测器训练与选择"] --> S2["Stage 2
离线部件特征提取"]
  S2 --> S3["Stage 3
缺失感知时序行为建模"]
  

Stage 1：下游感知的部件检测器选择

1.1 部件定义

PMTNet 将猫分解为三个语义部件：

• Cat Body：身体主体
• Head：头部
• Tail：尾巴

为了训练检测器，作者构建了一个 COCO 格式的部件检测数据集：

• 训练集：4,000 张图像
• 验证集：500 张图像
• 数据来自自拍视频帧和公开图像（未公开具体来源）

图 1: PMTNet 的部件级标注示例。红色框 = Cat Body（身体主体），绿色框 = Head（头部），蓝色框 = Tail（尾巴）。这三个语义部件构成了后续检测与特征提取的基础。（来源：PMTNet, Fig.1）

1.2 检测器候选与选择协议

论文没有使用单一检测器，而是训练了多个 DEIM 检测器变体，并从下游行为识别效果反推最佳检测器。候选变体包括不同的 IoU 损失函数组合：

选择标准不只是静态检测 mAP，而是引入了一套视频域时序鲁棒性指标：

Stage 2：离线部件特征提取

选定检测器后，对整个视频逐帧推理，缓存三个部件的：

• 边界框（BBox）
• 置信度分数
• ROI 对齐的外观特征（使用 ResNet50 提取）

论文提到 Stage 2 是离线缓存的，主要是为了 Stage 3 训练时的高效和可控。实际部署时也可以改为在线推理。

Stage 3：缺失感知时序行为建模

3.1 显式几何运动描述符

除了 ROI 外观特征，PMTNet 还构造了一个几何运动描述符，显式编码：

• 身体中心点在归一化图像坐标中的轨迹
• 头部中心点相对于检测到的猫框的轨迹
• 尾巴中心点相对于猫框的轨迹

这个设计非常巧妙——它把全局运动（身体位移）和局部相对运动（头/尾相对于身体的运动）解耦，让模型能分别学习。

3.2 缺失感知融合机制

这是 PMTNet 的核心创新。每个时间步，模型收到三个部件对齐的特征：

• 身体 ROI 外观特征 + 几何运动特征
• 头部 ROI 外观特征 + 几何运动特征（可能缺失）
• 尾巴 ROI 外观特征 + 几何运动特征（可能缺失）

论文对比了两种融合策略：

3.3 时序编码与聚合

融合后的特征序列送入时序编码器，论文比较了两种：

• TCN：一维卷积，计算高效，擅长局部时序模式
• GRU：门控循环单元，保留更强序列顺序信息

时序聚合策略也有三种：

• Last-step：取最后时刻隐藏状态（最差）
• Mean pooling：掩码时序平均
• Attention：学习时序注意力权重（最佳）

3.4 训练目标

使用加权交叉熵损失处理类别不平衡：

其中类别权重 \(w_c\) 与训练集中各类样本数成反比，缓解少数类影响。

行为类别定义

PMTNet 采用的是面向任务的 5 分类体系，不是严格的行为学分类：

标注消歧规则

论文设计了一套清晰的优先级规则来处理多行为共存：

1. 主要活动优先：如果 Grooming 或 Active 清晰可见，优先标为该类
2. 运动优先：如果存在持续行走/奔跑，标为 Locomotion
3. 尾巴主导表达：身体基本静止但尾巴明显运动时，标为 Tail-Expressive
4. 默认休息：只有轻微头部动作且无上述行为时，标为 Rest

数据规模

主要结果

在最佳配置下，PMTNet 达到：

• Top-1 Accuracy：93.1%
• Macro-F1：90.9%

相比全帧视频基线（TimeSformer、SlowFast 等），PMTNet 在猫的 5 类行为上明显更优。这说明部件级建模对猫行为识别确实有显著价值。

关键 Ablation 发现

失败案例分析

论文展示了 PMTNet 的失败案例：一个 Tail-Expressive 视频被错分为 Active。原因是头部运动和局部自我接触线索过强，压倒了尾巴运动的证据。

值得借鉴的地方

局限与需要注意的地方

短期可落地：简化版部件级 pipeline

考虑到端侧 500 元 BOM 约束，不建议直接复刻 PMTNet 的三阶段 pipeline。更实际的方案是：

flowchart LR
  A["YOLOv8/v11 猫检测"] --> B["轻量部件检测
身体/头/尾"]
  B --> C["提取 ROI 特征
MobileNet / EfficientNet"]
  C --> D["时序 TCN 分类"]
  

关键点：

• 用 YOLOv8/v11 同时做猫检测和部件检测（多任务头）
• 部件特征提取用轻量 backbone（MobileNetV3 / EfficientNet-Lite）
• 时序模型用 TCN 而非 GRU，计算量更小
• 加入 GateFusion 处理部件缺失

中期可探索：与 X3D-M 的融合

将 PMTNet 的部件级特征作为 X3D-M 全帧特征的补充：

• X3D-M 捕获全局场景和全猫外观
• 部件级分支捕获头部、尾巴的局部细节
• 两路特征 late fusion，提升对 Tail-Expressive / Active 等类别的区分

关键超参数建议

PMTNet 是目前唯一专门面向非受限视频中猫咪行为识别的公开工作，虽然数据集规模不大且未开源，但其方法论对项目有重要参考价值。

核心贡献可以概括为：把猫看成"身体+头部+尾巴"三个可变形部件，分别检测、分别建模时序、再通过门控机制自适应融合。这套思路直接回应了猫行为识别中的遮挡、姿态变化、局部线索关键等难题。