[发明专利]基于参数空间噪声网络的深度强化学习目标跟踪方法

说明书

本发明提供了一种基于参数空间噪声网络的深度强化学习目标跟踪方法。该方法包括：构建基于深度强化学习的目标跟踪模型，设计基于参数空间噪声线性层的网络损失函数，通过目标跟踪模型对目标进行视频序列中的逐帧跟踪，输出跟踪得到的当前帧的目标位置；通过贪心算法选择最优的模型更新模式，根据最优的模型更新模式利用网络损失函数对当前的目标跟踪模型进行参数更新；基于当前帧的目标位置通过更新后的目标跟踪模型进行下一帧的目标跟踪，重复执行上述处理过程，直至完成全部帧的目标跟踪，输出目标在视频序列中完整的位置信息。本发明的方法运算速度更快，具有更好的可迁移性和鲁棒性，在复杂场景下都能够达到更高效、鲁棒的目标跟踪结果。

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种基于参数空间噪声网络的深度强化学习目标跟踪方法。

背景技术

计算机视觉目标跟踪是指在视频序列中对人为标注或检测出的感兴趣目标进行位置和尺度的预测和标定，当全部视频序列结束后，给出目标完整的运动位置轨迹和尺度变化信息。计算机视觉目标跟踪通常属于中层语义问题，介于如图像分类这种浅层语义问题和如动作识别这种高层语义问题之间，很大程度上能够对最终图像视频语义分析的准确率和速度等产生重要的影响。近些年来，由于上述技术的蓬勃发展，计算机视觉目标跟踪越来越受到重视。

然而，由于视频中跟踪环境的复杂性，在复杂环境下高鲁棒性和实时的目标跟踪技术一直是计算机视觉领域中研究的热点。在计算机视觉目标跟踪算法中，主流的两类计算机视觉目标跟踪算法为：深度卷积神经网络算法和深度强化学习算法。

深度卷积神经网络算法的主要思想是利用深度卷积神经网络庞大的参数和强大的模型拟合能力，对跟踪目标进行拟合，用于准确区分跟踪目标与环境背景，从而达到鲁棒的目标跟踪效果。然而基于深度卷积神经网络算法的目标跟踪模型，由于计算量过大，通常情况下，无法满足目标跟踪的实时性要求，从而限制了模型的跟踪效率和使用范围。

深度强化学习算法的主要思想是使用强化学习方式，基于深度学习模型，通过自学习方式，强化目标跟踪模型对于未知环境和目标的判别和表示能力，并通过赋予模型探索能力进一步提升模型的知识迁移能力。然而，此类基于强度强化学习的目标跟踪方法都存在一个问题——使用简单的动作空间噪声扩展模型探索能力。这会导致模型在复杂环境下的学习过程中产生剧烈波动，导致目标丢失。

此外，现有的目标跟踪算法，对于当前模型更新策略普遍采用定时更新和单一模型更新，虽然可以快速简洁地完成模型对于当前目标变化的拟合更新，然而往往会造成由于模型更新模式单一、无法自适应调整更新策略和时间而导致模型对于目标判别能力的下降。在实际应用中，在不同复杂度的环境下，模型更新的时间和更新模式都存在差别，如果使用固定的模式适用于全部跟踪问题，必然会导致目标跟踪模型在不同环境下的迁移能力大大下降，降低了模型的鲁棒性。

因此，需要提供一种实时、准确、鲁棒的基于参数空间噪声网络的深度强化学习目标跟踪方法。

发明内容

本发明的实施例提供了一种基于参数空间噪声网络的深度强化学习目标跟踪方法，以克服现有技术的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种基于参数空间噪声网络的深度强化学习目标跟踪方法，构建基于深度强化学习的目标跟踪模型，设计基于参数空间噪声线性层的网络损失函数，所述方法具体包括：

通过所述目标跟踪模型对目标进行视频序列中的逐帧跟踪，输出跟踪得到的当前帧的目标位置；

通过上置信界算法选择最优的模型更新模式，根据所述最优的模型更新模式利用所述基于参数空间噪声线性层的网络损失函数对当前的目标跟踪模型进行参数更新；

基于所述当前帧的目标位置通过更新后的目标跟踪模型进行下一帧的目标跟踪，重复执行上述处理过程，直至完成全部帧的目标跟踪，输出目标在视频序列中完整的位置信息。