[发明专利]基于双线性汇合四流网络的鲁棒性RGB-T跟踪方法

权利要求书

1.一种基于双线性汇合四流网络的鲁棒性RGB-T跟踪方法，其特征在于，包括以下步骤：

步骤S1：将特征的嵌入分为模板嵌入对和候选嵌入对，每个嵌入对又分别由两个流向组成，构建出一个四流的卷积神经网路结构，模板嵌入对由可见光和红外图像的第一帧GroundTruth区域组成；

步骤S2：在候选嵌入对中截取和模板嵌入对相同大小的图像，和上述的模板嵌入对共同经过卷积神经网络提取特征，形成四个多通道的特征图；

步骤S3：将S2中得到的特征图再利用图卷积神经网络进行训练，得到最终特征图；

步骤S4：将步骤S3中最终特征图进行双线性汇合的操作，再经过两层全连接网络得到两个双线性向量，然后将这两个双线性向量作内积的运算，最终得到一个相识度的得分值；步骤S4中，采用双线性汇合的方式，利用外积来探索特征通道之间的成对相关性具体为：将S3中前两个流的最终特征图，以及后两个流的最终特征图分别进行双线性汇合的操作，得到两个特征图的大小分别为A∈R^M×K×C和B∈R^M×K×C，然后将A和B重新构造为矩阵和用外积将两个张量的每个位置相乘，并将所有乘积合并在一起，最终得到的双线性向量可以表示为：其中其中，向量u中的第(j-1)·C+i个元素表示为表示第i个通道的特征图重新构造的一维向量，i，j分别表示双线性矩阵的第i行，第j列；C为特征图总的通道数；

步骤S5：重复S2-S4的步骤，将每次得到的得分值拼接成相似度得分的矩阵，根据最大的得分值所在的位置定位出目标所在的位置；实现整个的跟踪效果。

2.根据权利要求1所述的基于双线性汇合四流网络的鲁棒性RGB-T跟踪方法，其特征在于，步骤S2中，所选取的卷积神经网络结构为VGG-16网络，且选取了VGG-16不同层的特征，并将低层的位置信息与高层的语义信息相结合，最终输出为融合了多个层级信息的四个多通道的特征图。

3.根据权利要求2所述的基于双线性汇合四流网络的鲁棒性RGB-T跟踪方法，其特征在于，步骤S3中，利用S2中多通道特征图的特点，根据特征图像素点的空间排列顺序构造出图卷积神经网络的节点，两个相邻节点之间进行连接构成了图卷积神经网络的边，图的结构可以表达为：Φ₁(v,ε)，其中v表示图的结点集合，ε表示图的边集合，然后经过两层图卷积神经网络之后生成特征表达能力更强的特征图。

4.根据权利要求3所述的基于双线性汇合四流网络的鲁棒性RGB-T跟踪方法，其特征在于，步骤S5中，在候选嵌入对中按照从左到右，从上到下的顺序依次的截取和模板嵌入对相同大小的区域，然后重复步骤S2-S4，将每一个得分值也按照相同的顺序拼接成一个相似度得分图，用Q(Z,X)来表示这个相似度得分图则最终的表达式为：

其中，k为在候选嵌入对中截取相同大小的模板嵌入对的次数，也就是获取到的总的相似度得分值的个数，其中和分别为模板嵌入对和截取的候选图像嵌入对，矩阵中的元素为每一步得到的相似度得分值。