[发明专利]一种基于模仿学习的深度强化学习策略优化防御方法和装置

说明书

本发明公开了一种基于模仿学习的深度强化学习策略优化防御方法和装置，包括：搭建深度强化学习的智能体自动驾驶模拟环境，基于强化学习中的深度Q网络构建目标智能体，对目标智能体进行强化学习以优化深度Q网络的参数；利用参数优化的深度Q网络产生T个时刻的目标智能体的状态动作对序列作为专家数据，其中，状态动作对中的动作取值对应Q值最小的动作；基于生成式对抗网络构建对抗智能体，并对对抗智能体进行模仿学习，即以专家数据中状态作为生成式对抗网络的输入，以专家数据作为标签来监督优化生成式对抗网络的参数；基于对抗智能体产生的状态对目标智能体进行对抗训练，再优化优化深度Q网络的参数，以实现深度强化学习策略优化防御。

技术领域

本发明属于面向深度强化学习的防御领域，具体涉及一种基于模仿学习的深度强化学习策略优化防御方法和装置。

背景技术

深度强化学习是近年来人工智能备受关注的方向之一，随着强化学习的快速发展和应用，强化学习已经在机器人控制、游戏博弈、计算机视觉、无人驾驶等领域被广泛使用。为了保证深度强化学习在安全攸关领域的安全应用，关键在于分析、发现深度强化学习算法、模型中的漏洞以防止一些别有用心的人利用这些漏洞来进行非法牟利行为。不同于传统机器学习的单步预测任务，深度强化学习系统需要进行多步决策来完成某项任务，而且连续的决策之间还具有高度的相关性。

强化学习通常是一个连续决策的过程，其基本思想是通过最大化智能体从环境中获取的累计奖励，从而学习最优策略以达到学习目的。深度强化学习充分利用神经网络作为参数结构，结合了深度学习的感知能力和强化学习的决策能力来优化深度强化学习策略，最终实现从感知输入到决策输出的端到端深度强化学习框架，具有较强的学习能力且应用广泛。但是与机器学习模型相同的是，强化学习也容易受到对抗样本的干扰，根据对样本的攻击，主要可分为观测攻击、奖励攻击、动作攻击以及环境攻击。同时，深度强化学习的训练过程中也会受到中毒攻击，使得模型的训练代价加大，模型的性能降低。此外，深度强化学习训练的策略还存在安全性隐患，尤其是在安全关键型领域，如复杂作战环境、作战指挥环境、无人机装甲车、无人机监察机、智能机器人控制等，模型策略漏洞的存在会给强化学习系统带来严重的损害。尤其是在安全关键型领域中，这种安全性隐患带来了很大的危害，会使强化学习系统的决策发生错误，这对于强化学习的决策安全应用领域是重大挑战。

由于强化学习训练得到的策略存在安全性隐患，因此提高强化学习模型和策略的鲁棒性，使其有效安全地应用在安全决策领域已经日益成为了人们关注的重点。目前，根据现有的防御机制，常见的强化学习的防御方法可以分为对抗训练、鲁棒学习、对抗检测三大类。对抗训练是指将对抗样本加入到训练样本中对模型进行训练，其主要目的是提高策略对正常样本以外的泛化能力。但是对抗训练往往只能提高策略对参与训练的样本的拟合能力。鲁棒学习是训练模型在面对来自训练阶段或者测试阶段时的攻击方法时提高其自身鲁棒性的学习机制。对抗检测指模型对正常样本与对抗样本加以甄别，并在不修改原始模型参数的情况下处理对抗样本，来实现防御效果。

发明内容

为了解决现有强化学习在安全决策领域(例如自动驾驶场景)受到攻击或自动决策漏漏洞，进而导致决策结果不准确带来安全隐患的问题，本发明的目的是提供一种基于模仿学习的深度强化学习策略优化防御方法和装置。

为实现上述发明目的，本发明提供以下技术方案：

一种基于模仿学习的深度强化学习策略优化防御方法，包括以下步骤：

搭建深度强化学习的智能体自动驾驶模拟环境，基于强化学习中的深度Q网络构建目标智能体，并对目标智能体进行强化学习以优化深度Q网络的参数；

利用参数优化的深度Q网络产生T个时刻的目标智能体驾驶的状态动作对序列作为专家数据，其中，状态动作对中的动作取值对应Q值最小的动作；

基于生成式对抗网络构建对抗智能体，并对对抗智能体进行模仿学习，即以专家数据中状态作为生成式对抗网络的输入，同时以专家数据作为标签来监督以优化生成式对抗网络的参数；