朱 杰，翟素兰，刘 磊

（1.安徽大学 数学科学学院，安徽 合肥 230601；
2.安徽大学 计算机科学与技术学院，安徽 合肥 230601）

目标跟踪在计算机视觉领域中有着极其广泛的应用，尤其在人机交互、无人驾驶、医学图像处理、现代化军事等领域内发挥着关键性的作用。虽然近年来目标跟踪算法取得了很大的进展，但仍然具有挑战性，例如光照变化、遮挡、背景杂波、快速运动和恶劣天气等环境时。

基于相关滤波的目标跟踪算法[1,2,3,4]是视觉目标跟踪中的主要方法，由于具有优越的计算效率和鲁棒性，一直受到研究者们的关注。Henriques等人[5]提出的KCF 通过将HOG 特征代替灰度特征，在性能方面远远领先于当时的目标跟踪算法。Zhang 等人[6]利用前景目标直方图与背景直方图的差异性提出了一种突出前景的颜色概率模型，将相关滤波器和颜色概率模型得到的响应图融合找到目标位置。Yang 等人[7]将深度图分割获得空间可靠性图，对其进行计算来约束滤波器，缓解了传统判别相关滤波的边界效应。Jing 等人[8]提出的结合改进角点检测的优化核相关滤波方法解决了广义霍夫算法提取冗余边缘点速度慢，以及因光照变化导致的边缘点提取不完整的问题。2017 年，Mueller 等人[9]提出了一种上下文感知相关滤波的跟踪方法CACF，该方法在目标周围采样四个固定位置的上下文感知块作为困难负样本进行抑制，从而突出目标，但其固定了上下文图像块的数量和采样位置，不能拟合图像中上下文感知块的分布，限制了跟踪器性能的进一步提升。

可见光图像能提供很强的颜色和纹理信息，但是对光照、温度变化很不敏感，因此单模态跟踪方法容易被低照明度、恶劣天气等环境因素影响。为此，Li 等人[10,11]引入感受场景温度分布的热红外模态来克服上述困难。Yun 等人[12]提出了一种判别式融合相关学习模型来改善基于相关滤波模型的跟踪方法性能，该模型利用加权融合规则生成可见光和热红外图像的响应图。然而，上述方法仅对不同模态的信息进行独立应用，未在相关滤波训练过程中，考虑不同模态信息之间存在的差异与关系。为了解决这一问题，Zhai 等人[13]提出了一种基于跨模态相关滤波模型的RGB-T目标跟踪方法，使用低秩约束两个模态的滤波模板，能够更加充分地挖掘不同模态之间的互补性与协同性，并为每个模态都训练出一个单独的滤波模板。Wang 等人[14]发现同一目标在不同模态之间的运动具有协同相似性，提出了基于协同稀疏相关滤波模型的RGB-T 目标跟踪方法，该方法利用l2,1 混合范数来建立不同模态相关滤波之间的协同性。上述两种模型都是采用ADMM 算法迭代优化，过程较复杂，且对模态间一致性的约束较弱。

针对上述问题，本文充分利用可见光和红外信息的互补性和一致性，在CACF 的基础上提出了新的自适应选择上下文感知图像块的RGB-T相关滤波目标跟踪算法。该模型首先利用一个滤波器同时学习可见光和热红外模态的信息，加强了模态之间一致性的约束，其次，模型训练阶段，根据目标和周围上下文块的相关性，自适应选择最可能包含干扰物的上下文块训练滤波器。实验结果表明使用它们来训练滤波器，位置无规律分布的上下文感知块被有效地抑制。因此，该模型可以应对遮挡、外观变化等问题，有较好的鲁棒性。

本文的基准方法是上下文感知相关滤波器CACF，其任务是解决目标周围环境对跟踪性能产生的影响，例如目标被遮挡，大量的背景杂波等干扰。CACF 的基本思想是在学习阶段将上下文区域作为困难负样本加入到相关滤波器中，以抑制背景杂波的干扰。在KCF 的基础上，将跟踪目标周围特定位置的上下文区域作为正则项，直接回归到零，由此突出目标区域。CACF 的目标函数如下：

式中，循环矩阵A0表示训练样本的数据矩阵，Ai表示目标周围固定位置的上下文图像块。公式(1)使得目标区域回归到y，参数λ1和λ2分别是两个正则项系数。原目标函数利用循环矩阵的性质，在傅里叶域中可以得到如下解：

CACF 设置了固定数量固定位置的上下文感知图像块，虽然其在一定程度上抑制了背景杂波的影响，但是该方法仍存在不足，不适合超出固定范围的干扰物，也无法排除其他方向的潜在干扰。

为了同时利用可见光和热红外信息的互补性，跟踪到多种挑战环境下的目标对象，并且自适应地选择上下文感知块进行抑制，提出了自适应上下文感知的相关滤波RGB-T 目标跟踪方法。

2.1 多模态CACF 目标跟踪

多模CACF 目标公式为：

这里的表示第m个模态的目标特征，表示第m个模态第i个位置的上下文图像块。

与原目标函数(1)类似的求解方法，通过在目标图像块下面叠加上下文感知块构建一个新的矩阵Bm，新的回归目标由y和0 组成，目标公式变为：

因为f是凸函数，有闭式解，可以通过将其梯度设为0 来求解：

因此可以得到傅里叶域中的闭式解：

2.2 自适应选择上下文感知块

与CACF 的固定位置选块方法不同，本文为了更好地训练滤波器模板，更精准地选择包含干扰物的上下文块，利用目标和上下文块之间的相关性自适应选择包含干扰物或背景杂波的上下文块。

由于干扰物相对于滤波模板来说会产生很高的表征分数，直观表现为它们响应图的最大值很接近，因此本文建立一个以目标为中心，目标长宽的两倍分别为长短轴的椭圆，按圆心角均匀的选取个固定位置作为候选的上下文块，通过公式(7)来判断是否选择这些位置的图像块。

其中，代表在第m个模态第i个位置的负样本和学习到的滤波器w卷积生成的响应映射的最大值，δ代表控制阈值的参数，代表目标响应图的最大值。为了保持跟踪器的有效性，当上下文块响应图的最大值与目标响应图最大值满足一定条件时，则选择当前位置的上下文块进行抑制。设置阈值的目的是即使干扰物不是很显著，仍然能够保持滤波器的辨别能力。大量的实验表明当k取12，δ取0.55 时，跟踪器的性能最好。这里将公式(8)代入公式(3)，计算目标函数。

图1 中(a)代表基准跟踪器得出的响应图，绿色框是目标，红色框是干扰物，目标周围有波动，干扰物的响应值较突出；
(b)代表本文方法的跟踪器所得到的响应图，周围的干扰物被抑制，目标更显著。由图1 可以看出，基准方法得出的响应图中干扰物较突出，而用了本文的选块方法之后，周围的干扰物被有效抑制，这样训练出来的滤波器才能在后续帧中更好地区分目标和干扰物，进而提升跟踪器的性能。

图1 本文方法(b)和基准方法(a)响应图的比较

2.3 算法实现

本文提出的自适应上下文感知相关滤波RGB-T 目标跟踪算法的具体步骤如算法1 所示。

算法1 多模态自适应上下文感知相关滤波器

输入：视频序列以及相应参数

输出：目标位置与当前图像响应图

For t=1：T

1.通过第t-1 帧目标信息,采集第t帧各模态候选样本，并提取特征;

2.根据第t-1 帧目标状态,采集第t帧各模态目标周围k个固定位置的上下文感知块；

3.利用公式(7)判断是否选择这些位置的干扰块，通过公式(8)计算上下文感知块；

4.利用两个模态的互补性，通过公式(6)训练滤波器模板w；

5.叠加两个模态的响应图，找出目标位置。

End for

对于第1 帧图像，本文先使用KCF 训练出一个w0作为初始模板，然后再从第一帧图像开始算法1 的操作。

本节将详细介绍实验的细节设置，包括基准，参数设置，数据集和评估指标。此外，本节还给出了与其他现有的跟踪器在不同数据集上的比较结果。

3.1 实验设置

3.1.1 基准跟踪器

为了评估该方法在GTOT[10]和RGBT234[11]数据集中的性能，本文采用CACF 作为基准跟踪器，同时与KCF[5]，MEEM[15]，STC[16]，JSR[17]，CT[18]，CN[19]，L1-PF[20]等跟踪器进行比较，以此来证明本文方法的有效性。

3.1.2 参数设置

为了与基准方法更方便地进行比较，本文提出的跟踪器的参数都与基准跟踪器的作者提供的标准参数相同。选块时控制响应值的阈值参数δ设置为0.55。本文实验均在台式机上实现，该计算机的处理器为4.0GHZ，有32GRAM，代码均由MATLAB 语言实现。

3.1.3 数据集和评估指标

本文在两个RGBT 数据集GTOT 和RGBT234 上进行了实验，并和当前方法进行比较。GTOT 数据集包含了50 个视频序列，有7 种属性标注，包括OCC（遮挡）、LSV（尺度变化）、FM（快速移动）、LI（低照明）、TC（热交叉）、SO（小目标）、DEF（形变）。RGBT234 数据集包含234 个视频序列，标注了12 种挑战。两个数据集可见光和红外的视频数据已经对齐。

实验使用PR (Precision Rate)和SR (Success Rate)来衡量所有跟踪器的跟踪性能。PR 指跟踪器所得到的目标位置中心距离真值的目标中心小于阈值所占的帧数比例，而SR 指跟踪器所得到的目标区域与真值区域之间的重叠率大于阈值所占的帧数比例。

3.2 实验结果与分析

3.2.1 在GTOT 上的结果

图2 展示了本文的跟踪算法与其他10 种算法在GTOT 数据集上的评估结果。从图中可以看出，比起其他先进的跟踪器，本文提出的方法有更好的性能。通过PR/SR 曲线可以看出本文的方法比KCF 跟踪器高出11%/10.8%，比MEEN 也高出将近两个点。本文的方法PR/SR 指标比基准方法高出2.3%/3.1%。

图2 GTOT 数据集的评价曲线

表1 为本文方法和对比方法在GTOT 数据集不同挑战属性上的PR/SR 值，其中最好的和第二好的结果分别用红色和绿色标记。实验结果表明，本文的跟踪器在大多数挑战场景下都表现最好，尤其在外观变化和遮挡等不利条件的序列时都获得较好的跟踪性能，由此也证明了本文方法的有效性。

表1 本文方法和其他方法在GTOT 数据集中不同挑战属性上的PR/SR 值

3.2.2 在RGBT234 上的结果

为了进一步证明方法的可行性，本文也在RGBT234 数据集上对算法进行了验证，结果如图3 所示。通过PR/SR 曲线本文方法的性能在RGBT234 数据集上达到了55.2%/35.1%，和CFnet+RGBT 的性能很接近，和KCF+RGBT 相比，精度高出8.9%/4.6%，实验结果也证明了本文的RGBT 融合方法和自适应选块方法的有效性。

图3 RGBT234 数据集的评价曲线

3.2.3 消融实验

本节在GTOT 数据集和RGBT234 数据集上验证了本文方法不同组件对性能的影响。如图4所示，通过PR/SR 曲线在GTOT 数据集上，基准在单模态下性能只有61.4%/47.9%，模态融合之后达到了63.7%/49.5%，在此基础上融入自适应选块方法后达到66.0%/52.6%。

图4 GTOT 数据集上的消融实验

如图5 所示，RGBT234 数据集上也体现了这些组件的有效性，因此本文的组件都是必需的。最后还通过大量实验验证了阈值的选取在0.55 时效果最好，如图6 所示。

图5 RGBT234 数据集上的消融实验

图6 阈值的选取

3.2.4 对比实验

为了进一步验证本文方法在多种挑战下的跟踪性能，在RGBT234 数据集上比较了本文方法与其他几个跟踪器的结果，图7 展示了本文提出的跟踪算法效果更好。图7 中的man69 背景非常杂乱且距离较远，所以热红外图像清晰度很低，几乎未成像，基准方法就跟踪失败，但本文方法跟踪得很精准。本文方法在处理遮挡(twoman2)、背景杂乱(man69)、低照明度(walkingman)等挑战性场景下是有效的，跟踪的准确度比其他跟踪器高。

图7 几种算法在RGBT234 数据集的3 个典型序列上的跟踪结果

本文对CACF 进行改进，挖掘可见光与红外视频数据间的互补和一致性，提出了自适应上下文感知相关滤波RGB-T 跟踪算法。该方法在充分利用了两个模态的互补信息的同时，自适应地学习上下文感知块，将它们作为困难负样本进行抑制，突出目标区域，在复杂场景中提高了跟踪器的精度。实验结果也证明了本文方法有更好的鲁棒性和自适应性。今后的工作将考虑这些负样本该如何更有效合理地抑制，以提高相关滤波跟踪器性能。

猜你喜欢跟踪器集上滤波器光伏跟踪器阵列跟踪精度的测算方法研究太阳能(2022年3期)2022-03-29Cookie-Cutter集上的Gibbs测度数学年刊A辑(中文版)(2020年2期)2020-07-25浅析一种风光储一体化跟踪器太阳能(2020年3期)2020-04-08链完备偏序集上广义向量均衡问题解映射的保序性数学物理学报(2019年6期)2020-01-13从滤波器理解卷积电子制作(2019年11期)2019-07-04超长待机的自行车位置跟踪器当代工人·精品C(2019年2期)2019-05-10开关电源EMI滤波器的应用方法探讨电子制作(2018年16期)2018-09-26复扇形指标集上的分布混沌数学物理学报(2017年5期)2017-11-23双向多轨迹判定方法在目标跟踪中的应用研究计算机应用与软件(2017年7期)2017-08-12基于Canny振荡抑制准则的改进匹配滤波器系统工程与电子技术(2016年7期)2016-08-21