[发明专利]基于双线性汇合四流网络的鲁棒性RGB-T跟踪方法

说明书

本发明提出了一种基于双线性汇合的图卷积网络的RGB‑T目标跟踪方法，包括以下步骤：步骤S1：将特征分为模板嵌入对和候选嵌入对，模板嵌入对由可见光和红外图像的第一帧区域组成；步骤S2：在候选嵌入对中截取和模板嵌入对相同大小的图像，经过卷积神经网络提取特征，形成四个多通道的特征图；步骤S3：将特征图利用图卷积神经网络进行训练，得到最终特征图；步骤S4：将最终特征图进行双线性汇合的操作，得到一个相识度的得分值；步骤S5：重复S2‑S4的步骤，将每次得到的得分值拼接成矩阵，根据最大的得分值所在的位置定位出目标所在的位置；实现整个的跟踪效果；本发明使得特征图之间的内在元素交互作用不能得到充分挖掘的缺陷。

技术领域

本发明涉及一种图形跟踪方法，具体的说是一种RGB-T跟踪方法，属于视觉跟踪技术领域。

背景技术

随着物联网的快速发展，热红外相机已经成为经济实惠的产品，并成功应用于先进驾驶辅助系统和智能车辆/公路系统。这种相机可以捕捉到温度在绝对零度以上的对象发出的热红外辐射，更适合于夜间监视。因此，RGB相机和热红外相机的联合使用有两个优点：1)热红外相机对光照变化有较强的鲁棒性，可以为在弱光条件下捕捉到的可见光光谱提供补充数据；2)RGB相机的灰度特征有助于解决基于热红外相机的监控中的交叉问题。因此，RGB-T跟踪中使用RGB特征和热红外特征可以有效地解决恶劣天气的挑战。

在RGB-T跟踪中，RGB和热视频序列是成对获得的(参见图1，其中汽车是严重被遮挡的，在热红外图像中很把汽车从背景中区分开)。为了解决多模型融合问题，探索RGB与热信息的互补性，最先进的方法可以简要地分为三类。第一种是基于粒子融合的RGB-T跟踪器。第二种是建立多图融合模型，有效探索RGB与热目标块之间的空间关系。第三种多模态融合依赖于稀疏表示。上述的方法均利用手工特征进行多模型融合。与手工特征相比，深卷积特征能够提取目标的平移和轻量级不变的深层语义信息，具有较强的鲁棒性。Siamese网络以其简单的网络结构和快速的跟踪速度成为基于RGB摄像机的视觉跟踪的研究热点。在基于Siamese网络的RGB跟踪中，Bertinetto等人最先设计了Siamese网络结构，当前的跟踪结果是通过有序计算模板图像与搜索区域内每个候选图像之间的相似度得到的。通常采用互相关作为相似性度量。为了进一步提高Bertinetto的工作效率，以下研究可以简单地分为三个方面：1)基于注意力的连体网络，它有效地利用后向传播梯度和信道注意机制，使目标外观集中在信息子区域上：2)基于局部模式的Siamese网络，它可以探索不同目标块之间的空间关系；3)基于RPN的Siamese网络，在Siamese网络中引入区域建议网络，避免了耗时的多尺度估计步骤。由于以下挑战，上述工作都不容易扩展到RGB-T跟踪中：1)现有的RGB跟踪器在Siamese网络中探索了不同目标块之间的关系，并引入了注意机制，但这些工作都是在单一的图像域(RGB域)进行的。

发明内容

本发明的目的是提供一种基于双线性汇合四流网络的鲁棒性RGB-T跟踪方法，克服上述技术只在单一的图像域(RGB域)进行跟踪，以及不能利用了多源嵌入对中存在的固有的部分-特征交互作用，使得特征图之间的内在元素交互作用不能得到充分挖掘的缺陷。

本发明的目的是这样实现的：一种基于双线性汇合四流网络的鲁棒性RGB-T跟踪方法，包括以下步骤：

步骤S1：将特征的嵌入分为模板嵌入对和候选嵌入对，每个嵌入对又分别由两个流向组成，构建出一个四流的卷积神经网路结构，模板嵌入对由可见光和红外图像的第一帧GroundTruth区域组成；

步骤S2：在候选嵌入对中截取和模板嵌入对相同大小的图像，和上述的模板嵌入对共同经过卷积神经网络提取特征，形成四个多通道的特征图；

步骤S3：将S2中得到的特征图再利用图卷积神经网络进行训练，得到最终特征图；

步骤S4：将步骤S3中最终特征图进行双线性汇合的操作，再经过两层全连接接网络得到两个双线性向量，然后将这两个双线性向量作内积的运算，最终得到一个相识度的得分值；