TIV Benchmark

过去十年计算机视觉的爆发，几乎全部建立在可见光传感器之上。但可见光有一个根本约束：它依赖环境光照。一旦进入夜间、雾天、烟雾或低光场景，再强的模型也会瞬间失明。热红外（Thermal Infrared, TIR）相机绕开了这个约束——它不接收反射光，而是直接探测物体自身发出的红外辐射。这意味着一个走夜路的人、一只在洞穴口出飞的蝙蝠、一辆刚熄火的汽车，在热红外画面里都会以与背景截然不同的"热信号"显现出来 #Wu et al., 2014。

这种"不依赖光照"的特性让热红外在监控、野生动物观测、搜救、自动驾驶和低光行人检测中拥有不可替代的位置。但直到 2014 年前后，社区里能拿到的热红外视频数据要么分辨率很低（多数 320×240），要么序列极短、任务单一、场景简单 #Wu et al., 2014。研究者想要验证一个跟踪或计数算法，往往只能在几百帧的短片段上跑一跑，很难暴露真实场景中的遮挡、密集、多视角难题。

正是在这个背景下，波士顿大学的 Zheng Wu、Nathan Fuller、Diane Theriault 和 Margrit Betke 在 CVPR 2014 的 PBVS workshop 上发布了 TIV（Thermal Infrared Video）基准 #Wu et al., 2014。它的定位非常清晰：

• 规模：63,782 帧、16 个序列，是当时最大的公开热红外视频数据集 #Wu et al., 2014。
• 分辨率：最高 1024×1024、16-bit 像素深度，远超同期常见的 320×240 #Wu et al., 2014。
• 任务多样性：单目标跟踪、单视角多目标跟踪、多视角多目标跟踪、视觉计数、群体运动估计——五类任务共享同一视频源 #Wu et al., 2014。
• 工程完备性：数据、标注、基线代码和评估协议全部公开，降低了后续研究者的接入门槛 #Wu et al., 2014。

本文要做的，是把这篇 8 页的 benchmark 论文彻底拆开：它为什么重要、数据是怎么造出来的、五类任务怎么定义、基线为什么这么选、结果暴露了什么问题，以及它给今天的热红外/RGBT 研究留下了什么。

要理解 TIV 的价值，得先看看 2014 年之前热红外社区手里有什么。论文在 Introduction 里点名了一串先驱数据集，并在 Table I 里做了系统对比 #Wu et al., 2014。我们把核心几个拎出来：

把这张表竖着看，就能读出 TIV 想解决的三个共性缺陷：

缺陷一：分辨率太低，目标几乎是几个像素

320×240 在 2014 年的热红外领域是"标配"。但要做远场跟踪或小目标计数，这个分辨率意味着一只飞行的蝙蝠在画面里可能只占 3-5 个像素，纹理、轮廓几乎无从谈起。TIV 用 FLIR SC8000 把分辨率推到 1024×1024、16-bit，让"小目标"至少有了可分辨的形态 #Wu et al., 2014。

缺陷二：序列太短，暴露不出长时程难题

OTCBVS 的 OSU Pedestrian 只有 284 帧，LITIV 也才六千多帧。短序列里，遮挡、ID 切换、轨迹漂移这些长时程问题根本来不及发生。TIV 单个序列最长 26,760 帧（Lab），全数据集 63,782 帧，足以把跟踪算法的鲁棒性逼到极限 #Wu et al., 2014。

缺陷三：任务单一，场景过于"干净"

早期数据集要么只做检测、要么只做配准，且多为近距离、稀疏、静态场景。真实世界里蝙蝠群从洞穴涌出、马拉松街道人头攒动、多相机交叉视角下的三维重建——这些复杂、动态、密集的场景在旧数据集里几乎找不到 #Wu et al., 2014。

TIV 共 7 个不同场景、16 个序列，覆盖室内外、人/车/蝙蝠、稀疏到密集、单视角到三视角、平面运动到自由三维运动 #Wu et al., 2014。下面这张表是 Table II 的完整展开，是本文最值得收藏的一张表。

* Marathon-2/3/4 的分辨率原文未单独列出，此处按 Marathon-1 同宽高比推断。数据来源：原文 Table II #Wu et al., 2014。

图 1：TIV 数据集 7 大场景快照，同一场景的序列用相同的伪彩色标注（来源：Wu et al., 2014, Fig. 1）

采集硬件：FLIR SC8000 与 16-bit 动态范围

绝大多数序列用 FLIR SC8000 高分辨率高速热红外相机拍摄，最高 1024×1024，每像素 16-bit，像素值通常落在 3,000–7,000 这个未校准温度区间 #Wu et al., 2014。帧率 5–131 fps 依场景中物体速度动态选择——蝙蝠飞得快就高帧率，行人走得慢就低帧率，在数据量和时间分辨率间取平衡。多相机录制时用信号发生器同步触发，保证多视角帧级对齐 #Wu et al., 2014。

五类视觉分析任务

TIV 把视频分析拆成五个层层递进的任务，共享同一份视频源 #Wu et al., 2014：

• 单目标跟踪（Frio10、Marathon-5）：从首帧或末帧初始化，全程跟踪 10 个指定目标。
• 单视角多目标跟踪（Frio11、Marathon-1~4）：检测 + 时序关联 + 状态估计，处理遮挡与 ID 切换。
• 多视角多目标跟踪（Atrium、Lab、Velifer、Davis08、Davis13-medium）：用多视角几何解决遮挡，分平面运动和自由三维运动两类。
• 视觉计数（Davis08-counting、Bracken-counting）：每帧给出 ROI 内目标总数，不做逐个定位。
• 群体运动估计（Bracken-flow）：识别蝙蝠群出飞过程中不同的运动模式。

标注格式：点、框、计数、流向量

标注粒度因目标而异，这是热红外小目标场景下的务实选择 #Wu et al., 2014：

• 蝙蝠（小目标）：单点标注（single point），因为目标太小，标 bbox 没意义。
• 人/车（较大目标）：bounding box 标注。
• 计数任务：每帧只给一个总数作为 ground truth，另提供少量逐蝙蝠位置标注的训练帧。
• 群体运动：手工划分运动模式段落，每种模式标 10 组瞬时流向量（flow vector），但因密度高噪声大，仅作参考。

作为一篇 benchmark 论文，TIV 没有"模型训练"，但它有一条同样值得拆解的数据构建流水线。理解这条流水线，对复现或借鉴热红外数据集的人非常关键。

非均匀校正：热红外的"去噪"第一步

热红外相机有一个固有毛病：传感器阵列各像素的响应不均匀，会在画面上留下固定的条纹/网格噪声（fixed pattern noise）。TIV 对每帧做"两点非均匀校正"（nonuniform two-point correction）#Wu et al., 2014，核心是一个线性模型：

对每个像素，测量强度 $y_m$ 与校正后强度 $y_c$ 的差值用线性近似建模，其中 $a$ 是乘性增益、$b$ 是加性偏移。对"冷""热"两个均匀强度源依次成像，就能逐像素解出 $a$ 和 $b$，再从原始输入 $y_m$ 中减去这个估计的差值 $\Delta y$。

图 2：非均匀校正前后对比，校正后固定条纹噪声被显著抑制（来源：Wu et al., 2014, Fig. 2）

相机标定：平面 vs 自由三维

四个场景有视角支持，标定方式按运动类型分两套 #Wu et al., 2014：

• 平面运动（Atrium、Lab）：用 homography 估计地面平面，把图像坐标投影到俯视图。
• 自由三维运动（Velifer、Davis13-medium）：用 Theriault et al. 的自标定方法做多相机三维重建 #Theriault et al., 2014。

训练配置披露表

按 read-article 规范，这里必须给出 10 项基础配置。TIV 是数据集论文，不涉及任何模型训练，因此这些项全部未披露——这本身就是一种披露：告诉读者"这篇论文的产出不靠训练模型"。

数据采集与处理配置表

虽然没有模型训练，数据本身的配置却披露得很充分——这是 benchmark 论文该有的样子：

TIV 的另一大贡献是为每类任务规定了清晰的评估协议和基线方法。这套协议把热红外的结果和通用 MOT、人群计数社区对齐——这是 benchmark 论文最该做、也最容易被忽略的工作 #Wu et al., 2014。

单目标跟踪：为什么不用 mean distance error

单目标跟踪的指标是成功率（success rate）：每帧计算跟踪位置与真值的欧氏距离，低于 5 像素阈值记为命中，命中率即为 success rate，理想值 1 #Wu et al., 2014。

作者明确反对传统的 mean distance error，给出三条理由 #Wu et al., 2014：

1. 跟踪器一旦漂移，误差会任意放大，把均值拉歪；
2. 目标分辨率小，跟踪点落在目标区域内即可，像素级位置并不关键；
3. 5 像素阈值已足够小，能保证跟踪点落在可接受的信任区域内。

多目标跟踪：CLEAR MOT 指标与阈值体系

多目标跟踪采用社区标准的 CLEAR MOT 指标 #Bernardin and Stiefelhagen, 2008：MOTA 综合误检率、漏检率和身份切换率，MOTP 衡量匹配目标的定位精度，另有 MT（多数跟踪）、ML（多数丢失）、FM（轨迹断裂）、IDS（身份切换）等衍生指标。

不同目标类型的命中/丢失阈值也不同 #Wu et al., 2014：

视觉计数：均值误差 ± 标准差

计数任务用每帧估计数量与真值的绝对误差，报告 mean counting error ± standard deviation #Wu et al., 2014。Davis08-counting 平均每帧约 356 只蝙蝠，Bracken-counting 约 250 只——这是真正"高密度小目标计数"的考验。

基线方法调用链

所有基线方法共享同一条"背景建模 → 检测 → 下游任务"主线 #Wu et al., 2014，差别只在检测器和关联策略：

flowchart TD
  A["热红外原始帧"] --> B["背景减除"]
  B --> C{"场景密度"}
  C -->|"稀疏/小目标"| D["局部强度极大值检测"]
  C -->|"密集/遮挡"| E["SDD-Net 稀疏驱动检测"]
  D --> F["数据关联
二分匹配 / 网络流"]
  E --> F
  F --> G["跟踪 / 计数 / 群体运动"]
  G --> H["CLEAR MOT / 成功率 / 计数误差"]

这条流水线的设计动机很清晰：热红外前景对比度高（热物体亮、背景冷），背景减除天然好用；但目标纹理缺失、轮廓相似，检测后的关联才是真正的难点。TIV 把这条主线暴露给后续研究者，让大家在同一框架下比拼。

TIV 给出的不是"SOTA 越高越好"的成绩单，而是一份"问题还有很多"的诊断书。我们逐任务看。

实验配置表

单目标跟踪：51% 与 23% 的"低分"

图 4：单目标跟踪成功率，前向与后向初始化对比（来源：Wu et al., 2014, Fig. 4）

Frio10（蝙蝠）平均成功率 51%，Marathon-5（行人）仅 23% #Wu et al., 2014。更关键的是，基线方法对初始化极其敏感——前向和后向初始化结果差异巨大，说明算法在广泛条件下并不鲁棒。

单视角多目标跟踪：高对比 vs 高遮挡

两个序列呈现截然不同的失败模式 #Wu et al., 2014：Frio11 蝙蝠前景对比度高、漏检率低（MT 96.9%），但相互遮挡频繁导致 1,222 次 ID 切换——检测对了，关联乱了；Marathon 背景噪声大、超过 10% 目标完全丢失（ML 12.3%），是检测层面的失败。

多视角多目标跟踪：稀疏约束的胜利

这里有一个非常漂亮的消融发现 #Wu et al., 2014：

视觉计数：检测法 vs 密度估计法

图 8：检测法与密度估计法的帧间计数结果对比（来源：Wu et al., 2014, Fig. 8）

两种基线——检测法（局部极大值 + NMS）和密度估计法（dense SIFT + 线性密度回归）#Lempitsky and Zisserman, 2010——结果如下 #Wu et al., 2014：

两种方法都系统性低估目标数量，原因是部分或完全遮挡 #Wu et al., 2014。而且二者都没有使用任何时序信息——作者明确建议：把 temporal information 引入计数框架是很有希望的改进方向。

TIV 之后：热红外数据集的演进

TIV 不是终点，而是一个起点。它之后，热红外数据集沿着"更大规模、多模态对齐、任务专门化"三条线演进：

• KAIST Multispectral（2015–2017）：大规模 RGB-T 配对驾驶数据，把热红外带入自动驾驶场景。
• FLIR Thermal Dataset（~2018）：面向自动驾驶的行业标准热红外数据。
• LLVIP（2021）：30,976 对精确对齐的低光可见光-热红外图像，推动夜间监控与图像融合。

TIV 在这条时间线上的位置，正是"从专用小数据集走向通用大规模视频基准"的转折点 #Wu et al., 2014。

局限性

论文自己承认的局限 #Wu et al., 2014：

• 热红外并不比可见光容易：前景亮不代表好跟踪，纹理缺失和热轮廓相似是硬伤。
• thermal crossover：目标与背景温度相近时，前景反而消失。
• 群体运动标注噪声大：高密度下流向量只能作参考，群体运动仍是开放问题。
• 计数无时序：基线未用时间信息，低估不可避免。

对今天研究的启发

最后，TIV 的真正贡献不是某个惊艳的算法，而是一份诚实的数据 + 一份诚实的诊断。它告诉社区：热红外视频分析有自己的难题，值得被认真 benchmark。十年后再读这篇 8 页的论文，依然能从中读出对今天 RGBT 跟踪、低光行人检测、野生动物计数研究的指导意义。