[发明专利]融合显著信息和多粒度上下文特征的目标跟踪方法及系统

说明书

本发明公开了一种融合显著信息和多粒度上下文特征的目标跟踪方法及系统，该系统包括孪生子神经网络、多分支融合模块、全局上下文模块、注意力图模块、深度互相关模块和目标位置确定模块。运用该系统可以提取模板图片的多个特征作为模板分支特征，提取搜索图片的多个特征作为搜索分支特征；根据模板分支特征得到模板特征；根据搜索分支特征得到搜索特征；根据搜索特征和模板特征，得到搜索特征的注意力图和模板特征的注意力图；将模板特征的注意力图和搜索特征的注意力图进行深度互相关得到得分图；将得分图进行分类和回归操作，确定目标在搜索图片中的位置。避免了在跟踪目标的过程中出现遮挡、形变和旋转等情况时，可能会出现丢失目标的情况。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种融合显著信息和多粒度上下文特征的目标跟踪方法及系统。

背景技术

目标跟踪是计算机视觉领域的基本问题之一，通过目标跟踪算法可以提取包含目标的初始视频帧中目标的模板特征，通过目标的模板特征可以持续稳定的跟踪后续视频帧中目标所在的位置。

基于孪生神经网络的目标跟踪算法，通过大量的数据集进行离线训练得到高精度的网络参数和匹配函数，具有精度高和有效性强等优点。然而，基于孪生神经网络的目标跟踪算法存在对模板特征的提取不足，跟踪目标过程中视频帧之间缺乏联系等问题。导致在跟踪目标的过程中出现遮挡、形变和旋转等情况时，可能会出现丢失目标的情况。

发明内容

本发明实施例的目的在于提供一种融合显著信息和多粒度上下文特征的目标跟踪方法及系统，以实现避免在跟踪目标的过程中出现遮挡、形变和旋转等情况时，可能会出现丢失目标的情况。

具体技术方案如下：

在本发明实施的第一方面，首先提供了融合显著信息和多粒度上下文特征的目标跟踪系统，包括孪生子神经网络、多分支融合模块、全局上下文模块、注意力图模块、深度互相关模块和目标位置确定模块，其中：

所述孪生子神经网络，用于获取模板图片和搜索图片，提取所述模板图片的多个特征作为模板分支特征，提取所述搜索图片的多个特征作为搜索分支特征；所述模板图片包含需要跟踪的目标的外观信息；所述搜索图片为包含所述目标的图片；

所述多分支融合模块，用于根据所述模板分支特征得到所述模板图片的模板特征；

所述全局上下文模块，用于根据所述搜索分支特征得到所述搜索图片的搜索特征；

所述注意力图模块，用于根据所述搜索特征和所述模板特征，得到所述搜索特征的注意力图和所述模板特征的注意力图；

所述深度互相关模块，用于将模板特征的注意力图和搜索特征的注意力图进行深度互相关得到得分图；

所述目标位置确定模块，用于将所述得分图进行分类和回归操作，确定所述目标在所述搜索图片中的位置。

在本发明实施的第二方面，提供了融合显著信息和多粒度上下文特征的目标跟踪方法，其特征在于，所述方法应用于孪生神经网络，所述方法包括：

获取模板图片和搜索图片，提取所述模板图片的多个特征作为模板分支特征，提取所述搜索图片的多个特征作为搜索分支特征；所述模板图片包含需要跟踪的目标的外观信息；所述搜索图片为包含所述目标的图片；

根据所述模板分支特征得到所述模板图片的模板特征；

根据所述搜索分支特征得到所述搜索图片的搜索特征；

根据所述搜索特征和所述模板特征，得到所述搜索特征的注意力图和所述模板特征的注意力图；

将模板特征的注意力图和搜索特征的注意力图进行深度互相关得到得分图；

将所述得分图进行分类和回归操作，确定所述目标在所述搜索图片中的位置。