[发明专利]融合显著信息和多粒度上下文特征的目标跟踪方法及系统

权利要求书

1.融合显著信息和多粒度上下文特征的目标跟踪系统，其特征在于，包括孪生子神经网络、多分支融合模块、全局上下文模块、注意力图模块、深度互相关模块和目标位置确定模块，其中：

所述孪生子神经网络，用于获取模板图片和搜索图片，提取所述模板图片的多个特征作为模板分支特征，提取所述搜索图片的多个特征作为搜索分支特征；所述模板图片包含需要跟踪的目标的外观信息；所述搜索图片为包含所述目标的图片；

所述多分支融合模块，用于根据所述模板分支特征得到所述模板图片的模板特征；

所述全局上下文模块，用于根据所述搜索分支特征得到所述搜索图片的搜索特征；

所述注意力图模块，用于根据所述搜索特征和所述模板特征，得到所述搜索特征的注意力图和所述模板特征的注意力图；

所述深度互相关模块，用于将模板特征的注意力图和搜索特征的注意力图进行深度互相关得到得分图；

所述目标位置确定模块，用于将所述得分图进行分类和回归操作，确定所述目标在所述搜索图片中的位置。

2.融合显著信息和多粒度上下文特征的目标跟踪方法，其特征在于，所述方法应用于孪生神经网络，所述方法包括：

获取模板图片和搜索图片，提取所述模板图片的多个特征作为模板分支特征，提取所述搜索图片的多个特征作为搜索分支特征；所述模板图片包含需要跟踪的目标的外观信息；所述搜索图片为包含所述目标的图片；

根据所述模板分支特征得到所述模板图片的模板特征；

根据所述搜索分支特征得到所述搜索图片的搜索特征；

根据所述搜索特征和所述模板特征，得到所述搜索特征的注意力图和所述模板特征的注意力图；

将模板特征的注意力图和搜索特征的注意力图进行深度互相关得到得分图；

将所述得分图进行分类和回归操作，确定所述目标在所述搜索图片中的位置。

3.根据权利要求2所述的方法，其特征在于，所述孪生神经网络包含孪生子神经网络，所述获取模板图片和搜索图片，提取所述模板图片的多个特征作为模板分支特征，提取所述搜索图片的多个特征作为搜索分支特征，包括：

通过所述孪生子神经网络获取模板图片和搜索图片；所述搜索图片的尺寸大于所述模板图片的尺寸；

将所述模板图片输入所述孪生子神经网络的ResNet50网络，得到所述模板图片的向量卷积运算特征、二维矩阵卷积运算特征、三维矩阵卷积运算特征、四维矩阵卷积运算特征、五维矩阵卷积运算特征分别是f_t1、f_t2、f_t3、f_t4、f_t5，作为模板分支特征；

将所述搜索图片输入所述孪生子神经网络ResNet50网络，得到所述搜索图片的向量卷积运算特征、二维矩阵卷积运算特征、三维矩阵卷积运算特征、四维矩阵卷积运算特征、五维矩阵卷积运算特征分别是f_s1、f_s2、f_s3、f_s4、f_s5，作为搜索分支特征。

4.根据权利要求3所述的方法，其特征在于，所述孪生神经网络包含多分支融合模块，所述根据所述模板分支特征得到所述模板图片的模板特征，包括：

将模板分支特征的f_t3、f_t4、f_t5特征进行通道压缩得到特征f_n3、f_n4、f_n5；

将模板分支特征的f_t2特征经过所述多分支融合模块得到包含不同感受野的特征f_n2；

将f_n3、f_n4、f_n5分别与f_s2相加并进行中心裁剪操作，得到所述模板图片的模板特征F_t3、F_t4、F_t5。