[发明专利]一种基于层次化决策网络的鲁棒目标跟踪方法及系统

说明书

本发明公开一种基于层次化决策网络的鲁棒目标跟踪方法，包括以下步骤：一、将目标跟踪问题建模为强化学习中的马尔科夫决策过程，并定义四元组；二、选择N帧作为片段，根据标签裁剪、放缩图片，构造若干个训练图像对；三、采用PyTorch深度学习框架搭建层次化决策网络模型，由通用的孪生特征提取网络、嵌入融合模块、策略网络和演员‑评论家网络组成；四、使用A3C和PG强化学习算法分别对演员‑评论家网络和策略网络进行端到端的离线训练，并采用Adam优化器来优化模型参数；五、保存训练收敛的模型；本发明还公开该方法的应用；该发明提高搜索和数据样本使用效率，提高跟踪性能，减少计算量和内存消耗，利于在移动设备端实际部署。

技术领域

本发明涉及视觉目标跟踪技术领域，特别是涉及一种基于层次化决策网络的鲁棒目标跟踪方法及系统。

背景技术

目标跟踪是人工智能领域中最基础的视觉任务之一。给定一个任意目标的初始化位置，目标跟踪技术即可在后续的视频序列帧中自动地估计出运动目标的位置和尺度信息。通常来说，目标跟踪技术可以分为单目标跟踪、多目标跟踪。单目标跟踪主要是针对特定物体进行建模分析，而多目标跟踪则是联合目标检测和数据关联技术来预测出多个物体的位置和编号。目标跟踪技术应用十分广泛，主要应用领域有视频监控、行为理解、自动驾驶、人机交互和军事领域等。

尽管视觉目标跟踪技术取得了长足的发展，但是视频场景仍存在着大量的挑战因素，主要包括各种不确定的动态场景变化：光照变化、尺度变化、运动模糊、遮挡、背景杂波、严重的物体外观变化等多种因素。同时，考虑到实际应用场景，跟踪方法既需要很好的准确度和鲁棒性，也需要满足实时的需求。因此，设计一种实时的鲁棒目标跟踪方法、目标跟踪系统具有很重要的实际意义。

目前，目标跟踪方法主要分为两类：基于分类模型和基于孪生网络模型。在分类模型中，由于依赖在线学习和随机采样，跟踪方法精度比较高但是速度很慢。而在孪生网络中，将视觉跟踪建模为相似性匹配的问题，依赖大规模的离线训练，跟踪速度比较快但是对于背景干扰物以及尺度变化不够敏感。这二类方法在面向复杂的实际动态场景中都会受到了一定的限制。

为了缓解分类模型中的速度问题，一些基于强化学习的目标跟踪模型被提出。其中，Yun et al.提出了一种基于深度强化学习(DRL)的动作决策网络(ADNet)，通过一系列离散动作来调整每个帧中目标的中心坐标和纵横比。因此ADNet的搜索步骤远少于滑动窗口和随机抽样方法。与MDNet (1 fps)相比，ADNet的速度提高了三倍(3 fps)。进一步地，Actor-Critic跟踪框架被开发，仅预测一个连续动作来定位被跟踪对象(30 fps)；但是，仅仅一个搜索步骤不能够有效地捕获某些复杂场景中感兴趣目标的所有可能运动变化。Renet al.提出一种基于迭代移位的视觉目标跟踪算法，旨在通过多次移位来执行跟踪(10fps)，并通过Actor-Critic框架来学习跟踪状态的决策。尽管上述方法取得了些许的改进，但是这些算法由于耗时的在线学习和更新，速度仍然不能够令人满意。

同时，视觉跟踪任务也可以看作是回归问题。Held et al.设计了深度回归网络来预测目标边界框的偏移量，由于深度回归网络是离线训练的，在线没有进行微调或者更新，算法的跟踪速度达到了100 fps。此外，Re3将时间信息纳入回归模型中，并提出了一种递归回归网络。这类方法速度很快，但是缺乏特定目标的建模以及在线学习过程，跟踪的性能比较差。

通过上述分析，现有技术存在的问题及缺陷为：

（1）现有的基于分类模型的目标跟踪方法，通常需要在线学习和模型更新，使得跟踪算法的效率比较低，很难达到实时性应用的需求。

（2）现有的基于回归模型的视觉跟踪算法，缺少对特定目标的在线自适应过程，仅利用离线模型，算法的性能比较差，很难处理复杂的动态场景。

（3）现有的基于强化学习的跟踪方法，仅考虑建模了单个智能体来对目标的运动估计或者跟踪状态做决定，这导致算法在性能和速度上都不占优势。