端侧宠物行为识别

本项目目标是开发一款面向室内猫咪居家场景的端侧宠物行为识别摄像头产品。核心能力包括实时行为识别、异常场景告警、亮点抓取与结构化事件输出，最终在 500 元以内的硬件 BOM 成本约束下完成落地。

动作检测模块是整个产品的算法核心——它需要从持续视频流中准确识别猫咪的各种行为，区分常见活动与需要立即关注的异常场景，并在边缘设备上完成实时推理。

端侧模型需要识别的行为分为两大类：常见场景（日常行为，占视频流绝大多数）和异常场景（需要告警的特殊行为，出现频率低但重要性高）。

常见场景

异常场景

异常场景按严重程度和响应优先级分为四类：

端侧不只是跑模型，还需要完成完整的视频采集→分析→输出链路。以下功能要求直接约束了算法选型和系统设计：

结构化事件输出的数据格式规范：

{
  "timestamp": "2026-06-29T14:30:00+08:00",
  "cat_id": "cat_01",
  "action": "vomiting",
  "category": "abnormal_class1",
  "confidence": 0.87,
  "keyframe": "events/20260629_143000_keyframe.jpg",
  "clip": "events/20260629_143000_clip.mp4",
  "ptz_state": {"pan": 45.0, "tilt": -15.0}
}

第一阶段的核心目标是：搞清楚现有动作检测模型在动物（尤其是猫）行为识别上能做到什么程度，为后续的模型改进和数据策略提供 baseline。

分为三条并行推进的任务线：

flowchart LR
  T1["任务 1
模型调研"] --> T3["任务 3
Benchmark"]
  T2["任务 2
数据集搜集"] --> T3
  T3 --> OUT["Baseline
+ 瓶颈分析"]
  

任务 1：现有模型调研与方法总结

调研范围

1. mmaction2 工具链：OpenMMLab/mmaction2 是动作识别/检测的标准框架，内置了大量主流模型（TSN, TSM, SlowFast, TimeSformer, UniFormer 等），是验证的第一站。
2. 其他人类动作检测模型：关注基于 RGB 的方法（3D-CNN 系列、Video Transformer 系列）和基于骨架的方法（ST-GCN 及变体）。
3. 已有的动物动作检测模型：调研是否已有专门针对动物行为识别的开源模型或工作（如 Animal Kingdom 数据集附带的方法、AnimalPose 相关工作等）。

两条主要技术路线

交付物

• 各模型的技术路线总结（架构、输入模态、时空建模方式）
• 优缺点对比表（精度、速度、显存占用、是否适合边缘部署）
• 初步选型建议：哪些模型最适合作为改进的基础

任务 2：动物动作数据集搜集

三类数据来源

1. 真实动物动作视频数据集

2. 合成动物动作数据集

• 游戏引擎 / 3D 渲染生成的动物动作数据（如使用 Blender + 猫科 3D 模型 + 动画 capture）
• 优势：标注完美、可控、可覆盖长尾异常场景（呕吐、抽搐等真实采集极难覆盖的行为）

3. 动物动作合成世界模型

• 探索使用视频生成世界模型（Sora 类、条件视频生成模型）合成特定猫科行为片段
• 特别适用于覆盖呕吐、抽搐、跌落等难以在真实场景采集且标注的异常行为
• 可控性（行为类型、视角、光照）是关键评估指标

交付物

• 数据集汇总表（名称、规模、物种覆盖、行为类别、模态、许可证）
• 数据缺口分析：哪些行为类别缺乏可用数据
• 数据合成可行性评估

任务 3：Benchmark 搭建与模型测试

Benchmark 设计

标签空间——对齐项目行为分类体系：

• 常见场景 9 类（活动 / 进食 / 饮水 / 如厕 / 静止 / 追逐 / 打闹 / 舔毛 / 叫）
• 异常场景 4 大类（紧急 / 破坏 / 扰民 / 安全）

测试集构成：

• 真实猫咪行为视频（如有标注数据）
• 合成数据补充异常场景
• 不同光照条件（正常 / 低光 / 夜视红外）

评测指标：

实验计划

交付物

• Benchmark 评测代码库（基于 mmaction2 或独立实现）
• 各模型在猫咪行为识别上的定量结果
• 分析报告：瓶颈在哪里（数据量？域差异？模型容量？时空建模能力？）
• 第二阶段改进方向建议