[发明专利]基于神经元覆盖率的深度强化学习鲁棒训练方法和装置

权利要求书

1.一种基于神经元覆盖率的深度强化学习鲁棒训练方法，其特征在于，包括以下步骤：

(1)搭建智能驾驶环境，从智能驾驶环境中采集状态数据对深度强化学习模型训练，直到达到设定回报值为止；

(2)利用训练好的深度强化学习模型在环境中运行，提取多轮的状态动作对；

(3)构建用于根据历史状态动作对序列预测未来时刻状态动作对序列的预测器和用于对状态动作对进行质量分类的分类器，并利用提取的状态动作对训练预测器和分类器；

(4)依据定义的对抗采样策略，根据状态动作对质量采样状态动作对并进行深度强化学习模型的再训练，以提高深度强化学习模型的鲁棒性。

2.如权利要求1所述的基于神经元覆盖率的深度强化学习鲁棒训练方法，其特征在于，所述深度强化学习模型采用DQN算法。

3.如权利要求1所述的基于神经元覆盖率的深度强化学习鲁棒训练方法，其特征在于，所述预测器采用seq2seq网络，将每轮提取的状态动作对分为输入和输出两部分，将状态向量与动作向量进行拼接作为预测器一个时刻的输入向量，这里选取l个时刻的状态向量与动作向量作为预测器一个时刻的输入，H作为预测器总时间步长，即使用l个时刻预测H-l个时刻的序列，若每轮次的状态动作对序列的长度小于H，则使用0对序列进行填充，若长度大于H，则进行截断。

4.如权利要求1所述的基于神经元覆盖率的深度强化学习鲁棒训练方法，其特征在于，所述分类器采用多对一的LSTM网络，用于对输入的状态动作对进行质量分类，对应的质量分类标签分别为高神经元覆盖率且成功，高神经元覆盖率且失败，低神经元覆盖率且成功，低神经元覆盖率且失败；

其中，状态动作对的成功或失败从深度强化学习模型与环境的交互产生的总体回报中看出，依据设定回报率的高低判定状态动作对的成功或失败；

依据每轮次的神经元覆盖率与所有轮次的神经元覆盖率均值的高低，判定神经元覆盖率的高低，高于神经元覆盖率均值时，则为高神经元覆盖率，否则为低神经元覆盖率。

5.如权利要求1所述的基于神经元覆盖率的深度强化学习鲁棒训练方法，其特征在于，神经元覆盖率的计算公式为：

其中，T表示每轮次的状态动作对的总数，x为其中的一个状态动作对，φ(x,n)表示输入为x时神经元n的输出值，t表示神经元激活的阈值，N表示深度强化学习模型中神经元总数。

6.如权利要求1所述的基于神经元覆盖率的深度强化学习鲁棒训练方法，其特征在于，所述对抗采样策略为：根据步骤(1)中训练时的总体回报收敛速度，选取总体回报与设定值差距在阈值范围内，且收敛速度在速度阈值范围内的时间节点为起始点，开始执行对抗采样策略；

对抗采样策略为：根据每轮的前几个时刻的状态动作对作为输入，输入至预测器进行后续时刻动作状态对的预测，然后再将预测器输入和预测结果组成的状态动作对序列输入到分类器中进行质量分类，依据质量分类结果，按照设定概率值随机选择放入经验池，用于深度强化学习模型的再训练。

7.如权利要求6所述的基于神经元覆盖率的深度强化学习鲁棒训练方法，其特征在于，设定高神经元覆盖率且成功、高神经元覆盖率且失败、低神经元覆盖率且成功以及低神经元覆盖率且失败的概率值分别为0.5、0.8、0.3、0.6。

8.一种基于神经元覆盖率的深度强化学习鲁棒训练装置，包括存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序，其特征在于，所述处理器执行计算机程序时实现权利要求1～7任一项所述的基于神经元覆盖率的深度强化学习鲁棒训练方法。