动物动作识别

上一篇我们梳理了人体动作识别的技术全景——从 Two-Stream CNN 到 VideoMAE 到 InternVideo。但当我们把镜头转向动物时，会发现一个尴尬的现实：人体动作识别的整套 pipeline 不能直接迁移。原因不仅是动物长得不一样，而是从数据底层到方法范式都存在结构性差异。

人体动作识别有 Kinetics-400（240k 视频）、有统一的 COCO 17 关键点骨架、有成熟的 MMPose + MMAction2 工具链。而动物动作识别呢？最大的数据集 MammalNet 只有 18K 视频（539 小时），物种间骨架拓扑差异巨大（猫 17 点 vs 鸟 22 点 vs 蛇完全没有四肢），标注还需要动物行为学家参与且需通过伦理审批（IACUC）。

这意味着动物动作识别必须走一条完全不同的路：更依赖迁移学习、更依赖合成数据、更依赖基础模型的零样本能力。本文系统梳理这个方向的方法、数据集和工具。

graph TD
    subgraph 数据层
        D1[Animal Kingdom
850物种 / 30K片段]
        D2[MammalNet
173种 / 539h]
        D3[AP-10K
10K帧 / 54种]
        D4[Animal3D
40种 / SMAL]
    end
    subgraph 姿态提取
        P1[SuperAnimal
跨 45+物种零样本]
        P2[DeepLabCut
微调 50-200帧]
        P3[DiffPose-Animal
扩散+语言条件]
    end
    subgraph 行为识别
        A1[ARTEMIS
多模态 mAP 79.82]
        A2[AnimalMotionCLIP
CLIP+光流 mAP 74.63]
        A2b[Animal-CLIP
双 Prompt VLM]
        A3[BehaviorVLM
免微调 VLM]
        A4[V-JEPA 2.1
PlayClass F1=77.0]
    end
    D3 --> P1
    D3 --> P2
    D3 --> P3
    P1 --> A1
    P1 --> A2
    P2 --> A1
    P3 --> A2b
    D1 --> A1
    D1 --> A2
    D2 --> A3
    D2 --> A4
    style P1 fill:#c8e6c9
    style A1 fill:#fff3e0
    style A4 fill:#e1bee7
    

根据 2025 年综述 A Review on Coarse to Fine-Grained Animal Action Recognition #zia2025survey 的框架，动物动作识别可以按行为粒度分为粗粒度（Coarse-Grained, CG）和细粒度（Fine-Grained, FG）两个层次。粗粒度指一般运动模式（行走、站立、奔跑），细粒度指行为的微妙细节（反刍、梳理、抓挠）。两者在算法设计上有显著差异——FG 需要更强的时序建模和更精细的姿态信息。

从技术路线上，动物动作识别已经形成 7 个清晰的子方向：

数据集是动物动作识别的瓶颈。以下按重要性排序：

图 3: Animal Kingdom 数据集物种覆盖——850 个物种横跨哺乳、鸟、爬行、鱼、两栖、昆虫六大类，是当前物种多样性最高的动物行为数据集（来源：Ng et al., Animal Kingdom, CVPR 2022）

行为识别数据集

姿态估计数据集

阶段一：专用架构（2018–2022）

早期工作直接将人体动作识别的方法（C3D, I3D, SlowFast）迁移到动物数据上。Animal Kingdom 的 CARe（Collaborative Action Recognition）模型是这一阶段的代表——它分离 general feature（跨物种共享）和 specific feature（物种特有），通过 collaborative learning 在 unseen species 上做泛化。

但核心问题是：人体模型的归纳偏置不适用于动物。SlowFast 在 Kinetics-400 上的双速通道设计基于人类运动的帧率特征，但动物的运动频率（蜂鸟翅膀 vs 大象行走）跨越的数量级远大于人类。

图 4: Animal Kingdom 的 CARe 架构——Backbone 提取共享特征后分支为 General Feature Elaborator 和 K 个 Specific Feature Elaborator，通过 Relevance Evaluator 加权融合解决 unseen species 泛化（来源：Ng et al., Animal Kingdom, CVPR 2022）

阶段二：多模态融合与 CLIP 注入（2023–2024）

MSQNet #mondal2023msqnet（ICCV 2023 Workshop）提出了 Actor-agnostic 多模态查询网络——不再为每种动物设计专用模型，而是用 CLIP 的文本编码器为每个动作类别生成可学习的多模态 query，通过 Transformer decoder 从视频编码器中提取相关信息。这种设计天然跨物种。

ARTEMIS #artemis2025（2025）更进一步：用 BLIP2 和 Llama 3 从视频帧中自动生成文本描述，将文本作为额外的模态注入分类器。在 Animal Kingdom 上达到 mAP 79.82（当前 SOTA），并通过遗传算法和强化学习动态调整集成权重。

阶段三：视频基础模型 + 零样本（2024–至今）

最新趋势不再专门设计模型，而是直接用冻结的视频基础模型做行为理解：

• AnimalMotionCLIP #animalmotionclip2025 — 在 CLIP 空间中嵌入光流运动信息，提出 dense/semi/sparse 三种时间聚合策略，其中 sparse 策略在 Animal Kingdom 上达到 mAP 74.63（RGB+光流融合，比 MSQNet+pre-training 的 73.10 高 1.53 个百分点）。CV4Animals 2024 Best Paper。
• Animal-CLIP #animalclip2025 — 双 Prompt 增强的 VLM 框架（IJCV 2025）：为每个动物物种动态生成 species-aware prompt 和 action-specific prompt，在 Animal Kingdom 上显著优于纯 CLIP 和 MSQNet。核心发现：物种信息作为先验注入文本端，比修改视觉端更高效。
• BehaviorVLM #behaviorvlm2026 — 无需下游微调，用多阶段 VLM 推理同时完成姿态估计和行为发现。这意味着不需要标注数据。
• PlayClass #playclass2026 — 用 Meta 的 V-JEPA 2.1 作为 backbone，加上 SAM 3 分割和手工运动特征，在鸡只玩耍行为分类上达到 F1=77.0。V-JEPA 2.1 是当前最强的视频编码器。
• Mamba-MSQNet — Selective State Space Model（Mamba）替代 Transformer，实现更高效的动物动作识别。在 Animal Kingdom 上用更少参数达到与 MSQNet 相当的 mAP。

姿态估计：从单物种到跨物种

动物姿态估计是行为分析的关键前置步骤。过去每个物种需要单独标注和训练（用 DeepLabCut 标 50–200 帧再微调）。2024 年，Mathis Lab 发布了 SuperAnimal #superanimal2024（Nature Communications 2024）——一个跨 45+ 物种的通用姿态估计基础模型，零样本即可使用，支持无监督视频自适应来消除抖动。如果效果不够，微调时比传统迁移学习高效 10–100 倍。

SuperAnimal 的意义在于：它让"姿态估计 → 行为识别"的 pipeline 在动物上变得可行。你可以先用 SuperAnimal 提取关节点序列，再用 ST-GCN 或 PoseConv3D 做行为分类。

2025 新进展：扩散模型 + 语言引导

DiffPose-Animal #diffposeanimal2025（arXiv 2508.08783, 2025）将扩散模型引入动物姿态估计：用语言条件引导热图生成，把姿态估计重构为"从噪声中恢复关键点热图"的生成过程。相比传统热图回归（HRNet/HigherHRNet），扩散模型能更好地处理遮挡和模糊边界——这在动物场景中极为常见（植被遮挡、多动物重叠）。该方法在 AP-10K 上展示了优于传统热图方法的 PCK 指标，同时语言条件使得模型能适配不同物种的骨架定义，而不必重新训练。

与此同时，AniMer #animer2024（arXiv 2412.00837, 2024）提出了 Family-Aware Transformer：在 Transformer 编码器中嵌入动物的科属分类信息，让模型在估计姿态时自动利用生物分类学先验（猫科和犬科的关节拓扑更相似，而与鸟类的差异更大）。这种思路与 Animal-CLIP 的物种 prompt 异曲同工——生物分类学先验是跨物种泛化的关键信号。

graph LR
    V[原始视频] --> S1[SuperAnimal
零样本姿态估计]
    S1 --> S2[关节点序列
T×N×C]
    S2 --> G1[ST-GCN / PoseConv3D
时空图卷积]
    G1 --> C[行为分类]
    V -.并行.-> V2[VideoMAE / V-JEPA
RGB特征提取]
    V2 --> C2[行为分类]
    V -.新模态.-> V3[CoTracker3
稀疏轨迹]
    V3 --> C3[轨迹Transformer
运动特征]
    V -.新模态.-> V4[MiDaS
单目深度估计]
    V4 --> C4[Depth分支
空间关系特征]
    C --> F[融合决策]
    C2 --> F
    C3 --> F
    C4 --> F
    F --> R[输出：动作类别]
    style S1 fill:#c8e6c9
    style G1 fill:#e3f2fd
    style V2 fill:#fff3e0
    style V3 fill:#f3e5f5
    style V4 fill:#e0f2f1
    style F fill:#fce4ec

输入模态扩展：RGB 和骨架之外的新路线

2024–2026 年，动作识别领域出现了多种新的输入表示，不再局限于 RGB 和骨架两条传统路线。这些新模态对动物行为识别有特殊的适配价值——因为动物场景的外观偏差（appearance bias）比人体场景更严重（毛色变化、物种差异、野外背景干扰），运动驱动或几何驱动的模态天然更具跨物种泛化能力。

三条值得关注的新模态

RGB-D / 单目深度：DEAR（ECCV 2024 Workshop）证明了从普通 RGB 视频用 MiDaS 生成 depth map，再与 RGB 双流融合（Gated Cross-Attention），在 SSV2 上提升 +0.6%。关键是无需额外硬件。对动物场景，深度信息对涉及空间关系的行为（跳上/跳下、钻进洞穴、捕食距离判断）可能有更大提升。但动物毛发表面会导致单目深度估计退化，作为辅助模态而非主模态是可接受的。

稀疏轨迹（TrAction, 2026）：用 CoTracker3 提取数百个稀疏点的 2.5D 运动轨迹，完全不含外观信息。在 SSV2 上纯轨迹达到 45% Top-1，与 DINOv2 融合后提升 +8.7 个点。这个方向对动物行为识别特别有吸引力——动物行为主要由运动模式区分（走/跑/跳/捕食/求偶），外观信息反而引入物种偏差。轨迹表示天然跨物种、对背景和光照鲁棒。但 CoTracker3 在动物上的跟踪质量需实测验证，且静态行为（趴/睡）几乎无轨迹信号。

3D 点云（3DInAction, 2023）：提出 t-patch（时序局部点块）+ 分层 MLP 架构，在 DFAUST 上提升 +13%。2025 年的扩展工作支持单目深度估计生成的点云，在 NTU RGB-D 120 上达到 89.3%。但数据获取成本是最大瓶颈——深度传感器或多视角重建远超普通监控成本，猫的毛发表面也会严重退化深度估计。

动物动作识别没有像 MMAction2 这样的统一框架，但有成熟的工具组件：

CV4Animals Workshop是动物行为视觉分析的核心学术阵地，自 2023 年起连续在 CVPR 举办，2026 年已是第 4 届。新工作优先关注此 Workshop + CVPR/ECCV/ICCV/NeurIPS 主会。

从趋势上看，2026 年的主题词是 3D + 大模型 + 生态落地：BigMaQ（猴 3D mesh + 行为，ICLR 2026）、SAM 3D Animal（Meta 标志性工作）、CHIRP（鸟类长期生态监测）、PRIMA（用 BioCLIP 解决长尾物种 3D mesh 恢复）。

Must-Read（必读）

Route-Representative（路线代表）

考虑到你的背景（生成式 AI / 视频理解 / ComfyUI / 扩散模型 / LoRA），以下是三个最有差异化潜力的切入方向：