[发明专利]一种基于边界特征融合孪生循环神经网络的目标跟踪方法

权利要求书

1.一种基于边界特征融合孪生循环神经网络的目标跟踪方法，其特征在于，

获取待跟踪目标视频；

将获取的待跟踪目标视频输入预先训练好的基于孪生网络的目标跟踪模型，输出目标的预测位置；

其中，所述基于孪生网络的目标跟踪模型包括孪生网络模块、候选区域提取模块及区域细化模块；

所述孪生网络模块用于特征提取和融合，生成多尺度特征响应图；

所述候选区域提取模块用于将多尺度特征响应图作为输入，提取多尺度特征响应图的中心区域特征和边界特征，合并中心区域特征和边界特征获得候选目标；

所述区域细化模块用于将候选区域提取模块得到的候选目标作为输入，对候选目标进一步细化分类和回归。

2.根据权利要求1所述的一种基于边界特征融合孪生循环神经网络的目标跟踪方法，其特征在于，

所述孪生网络模块包括上支路模块、下支路模块及特征融合模块，用于特征提取和融合，生成多尺度特征响应图，包括：

上支路模块、下支路模块通过共享参数的卷积神经网络提取目标图像特征和搜索图像特征，通过提取目标图像特征和搜索图像特征中包含外观信息conv2层以及包含语义信息的conv4、conv5层来构建多尺度特征；

将生成的多尺度特征输入到特征融合模块，目标图像特征图分别沿H和W轴逆时针旋转90°获得在H轴和W轴的旋转特征张量，经过pooling以及标准卷积层和sigmoid生成对应的在H轴和W轴的注意力权值，生成的注意力权值与其对应的旋转特征张量相乘获得对应的注意力响应图，最后注意力响应图沿着H和W轴进行顺时针旋转90°获得在H轴和W轴的增强目标图像特征图；

将增强目标图像特征图以及目标图像特征图分别与搜索图像特征图进行互相关并相加获得最终的多尺度特征响应图。

3.根据权利要求2所述的一种基于边界特征融合孪生循环神经网络的目标跟踪方法，其特征在于，

所述候选区域提取模块包括点特征提取模块和边界特征提取模块；

所述点特征提取模块用于将多尺度特征响应图作为输入，对多尺度特征响应图每个位置点对应的边界框进行回归获得候选目标的中心区域特征；

所述边界特征提取模块用于对点特征模块获得的中心区域特征提取获得候选目标的边界特征，合并点特征提取模块和边界特征特征提取模块获得候选目标。

4.根据权利要求3所述的一种基于边界特征融合孪生循环神经网络的目标跟踪方法，其特征在于，

所述点特征提取模块包括分类分支，回归分支和中心点预测分支。

5.根据权利要求3所述的一种基于边界特征融合孪生循环神经网络的目标跟踪方法，其特征在于，

所述边界特征提取模块用于对点特征模块获得的中心区域特征提取获得候选目标的边界特征的方法包括：

对点特征模块获得的中心区域特征提取四个边界框特征，并对四个边界框特征分别做pooling操作，采用双线性插值方法对pooling操作之后的边界框特征进行采样，获得候选区域的边界特征。

6.根据权利要求1所述的一种基于边界特征融合孪生循环神经网络的目标跟踪方法，其特征在于，

所述区域细化模块用于将候选区域提取模块得到的候选目标作为输入，对每个候选目标进一步细化分类和回归的方法包括：

对候选目标进行特征提取生成候选proposal；

分别对目标图像特征和搜索图像特征中的conv2浅层特征和conv4，conv5深层特征串联融合；

最后，对候选proposal进行分类和回归，将串联融合的conv4，conv5特征接入判别子网络，conv2，conv4特征接入定位子网络，其中判别子网络采用两个FC层进行分类特征提取，定位子网络采用两个Conv层进行回归特征提取，选取响应最大的候选proposal的作为目标的预测位置。