[发明专利]基于改进孪生网络的目标跟踪方法及系统

权利要求书

1.基于改进孪生网络的目标跟踪方法，其特征是，包括：

获取待目标跟踪视频和已知的跟踪目标图像；

将待目标跟踪的视频和已知的跟踪目标图像，均输入到预先训练好的改进的孪生网络中，输出目标跟踪结果；所述改进的孪生网络是指在ResNet-50网络结构的基础上添加了Squeeze-and-Excitation网络结构，且ResNet-50网络结构的第三、第四和第五卷积层的输出端均与各自对应的孪生候选区域生成网络Siamese RPN的输入端连接；

所述改进的孪生网络，包括：并列的第一支路和第二支路；

所述第一支路，包括：第一SE-ResNet-50网络结构；所述第一支路的输入端用于输入已知跟踪目标的图像；

所述第二支路，包括：第二SE-ResNet-50网络结构；所述第二支路的输入端用于输入待目标跟踪的图像；

所述第一SE-ResNet-50网络结构与第二SE-ResNet-50网络结构是一样的；

所述第一SE-ResNet-50网络结构包括依次连接的第一卷积层、全局池化层Globalpooling、第一全连接层FC、卷积层2_1、卷积层2_2、Relu函数层、卷积层3_1、卷积层3_2、卷积层3_3、第二全连接层FC、卷积层4_1、卷积层4_2、卷积层4_3、卷积层4_4、卷积层5_1、卷积层5_2、卷积层5_3、卷积层5_4、卷积层5_5、sigmoid函数层和scale层；

所述第一SE-ResNet-50网络结构和第二SE-ResNet-50网络结构中，卷积层3_1、卷积层3_2和卷积层3_3的输出端均与第一孪生候选区域生成网络Siamese RPN的输入端连接；卷积层4_1、卷积层4_2、卷积层4_3和卷积层4_4的输出端均与第二孪生候选区域生成网络Siamese RPN的输入端连接；卷积层5_1、卷积层5_2、卷积层5_3、卷积层5_4和卷积层5_5的输出端均与第三孪生候选区域生成网络Siamese RPN的输入端连接。

2.如权利要求1所述的方法，其特征是，

所述第一孪生候选区域生成网络Siamese RPN的输出端与第二孪生候选区域生成网络Siamese RPN的输入端连接，所述第二孪生候选区域生成网络Siamese RPN的输出端与第三孪生候选区域生成网络Siamese RPN的输入端连接；所述第三孪生候选区域生成网络Siamese RPN的输出端，分别连接边框回归模块Bbox Regression和分类层CLS，所述边框回归模块Bbox Regression和分类层CLS的输出端均与加权互相关模块cross-correlation输入端连接，加权互相关模块cross-correlation的输出端与输出层连接，所述输出层，用于输出目标跟踪结果。

3.如权利要求1所述的方法，其特征是，所述改进的孪生网络，工作原理是：

改进的孪生网络有两个输入：已知跟踪目标的图像和待目标跟踪的图像,将两个输入进入各自对应的神经网络，各自对应的神经网络分别将输入映射到新的空间，形成输入在新的空间中的表示；通过损失函数的计算，评价待目标跟踪的图像与已知跟踪目标的图像之间的相似度，输出相似度高于设定阈值的待目标跟踪图像作为目标跟踪的结果。

4.如权利要求1所述的方法，其特征是，所述预先训练好的改进的孪生网络；具体训练步骤包括：

将改进的孪生网络，通过模型无关元学习算法训练，得到初始权重已知的改进的孪生网络；

构建训练集；所述训练集为已知每一帧跟踪目标位置的视频；

将训练集输入到初始权重已知的改进的孪生网络中，得到训练好的改进的孪生网络。