[发明专利]一种基于全局可缩放孪生网络的目标跟踪方法和装置

说明书

本发明实施例公开了一种基于全局可缩放孪生网络的目标跟踪方法和装置，以及存储介质和电子设备，其方法包括：确定进行目标跟踪的目标区域的模板图像和搜索图像；将所述模板图像输入预先建立的最优全局可缩放孪生网络模型的目标分支，以及所述搜索图像输入所述最优全局可缩放孪生网络模型的搜索分支，得到所述模板图像和搜索图像之间的得分响应图；将得分响应图中得分最大值所在的位置映射到搜索图像中作为目标区域的中心点在搜索图像中对应的位置。所述于全局可缩放孪生网络的目标跟踪方法和装置，以及存储介质和电子设备可以灵活地生成目标的定位框，获取高效外观特征表达能力，提高了目标跟踪的准确度和效率。

技术领域

本发明涉及深度学习和计算机视频技术领域,并且更具体地，涉及一种基于全局可缩放孪生网络的目标跟踪方法和装置，以及存储介质和电子设备。

背景技术

随着高性能计算机的普及以及对视频分析技术不断增长的需求，目标跟踪研究成为了计算机视觉中重要的研究热点，并在视频监控、自动驾驶、医疗诊断等方面具有广泛的应用。近年来，由于深度学习的迅速发展，基于端到端学习的孪生网络在目标跟踪中引起了广泛关注。孪生神经网络是指包含两个或多个结构相同且共享权值的子网络，只需要一次向前操作并通过距离度量的方式计算输出向量的距离，它用于评估输入样本之间的相似程度。虽然基于孪生网络的跟踪算法取得了一些进步，但是这些方法仍然存在一些问题。首先，目标跟踪孪生网络的基准架构是比较浅的AlexNet 网络,该结构无法充分利用深度网络的优势，当出现较为复杂的情况，比如快速运动或者分辨率低等问题时，该网络无法捕获较为鲁棒的目标特征；其次，如何充分平衡基准架构的深度、宽度和分辨率来提高目标跟踪的准确率和效率还有待解决；第三，在目前的目标跟踪深度网络中，由于输出的特征图只能感受到对应输入特征图周围点的信息，使得深度网络利用非局部信息存在不足，从而导致跟踪器的判别能力较弱，对目标外观变化不鲁棒。

发明内容

为了解决现有技术中的目标跟踪孪生网络针对复杂情况无法捕获鲁棒的目标特征，目标跟踪的准确率和效率不高，以及利用非局部信息存在不足的技术问题，本发明的实施例提供一种基于全局可缩放孪生网络的目标跟踪方法和装置，以及存储介质和电子设备。

根据本发明实施例的一个方面，提供了一种基于全局可缩放孪生网络的目标跟踪方法，所述方法包括：

步骤101、确定进行目标跟踪的目标区域的模板图像和搜索图像；

步骤102、将所述模板图像输入预先建立的最优全局可缩放孪生网络模型的目标分支，以及所述搜索图像输入所述最优全局可缩放孪生网络模型的搜索分支，得到所述模板图像和搜索图像之间的得分响应图；

步骤103、将得分响应图中得分最大值所在的位置映射到搜索图像中作为目标区域的中心点在搜索图像中对应的位置。

可选地，在本发明上述各方法实施例中，其中确定进行目标跟踪的目标区域的模板图像和搜索图像之前还包括建立最优全局可缩放网络模型，其中：

步骤201，获取训练数据集，其中，所述训练数据集中包括多个训练数据，每个训练数据包括1个训练视频，以及所述训练视频的训练图像序列，所述训练图像序列包含训练视频的多帧训练图像；

步骤202，对所述训练数据进行预处理，生成多个训练图像对；

步骤203，将所述多个训练图像对作为初始全局可缩放孪生网络的目标分支和搜索分支的输入，对所述初始全局可缩放孪生网络的目标分支和搜索分支进行模型训练，生成C个待验证全局可缩放孪生网络，其中，所述初始全局可缩放孪生网络的目标分支包括可缩放孪生网络和与可缩放孪生网络连接的全局注意力网络，搜索分支只包括可缩放孪生网络，其中，C 为自然数；