[发明专利]一种基于对抗式强化学习的安全场景加速测试方法及系统

权利要求书

1.一种基于对抗式强化学习的安全场景加速测试方法，其特征在于，包括：

获取自动驾驶被测对象和预设的测试用例库；

基于机器学习的代理仿真模型，设计可均衡开发与探索的采集函数；

基于所述自动驾驶被测对象，根据所述采集函数对所述测试用例库进行搜索，得到适合所述自动驾驶被测对象的测试集；所述测试集包括多个驾驶场景；

基于对抗学习的方法，根据所述驾驶场景和所述自动驾驶被测对象进行测试，得到轨迹分布；

根据所述轨迹分布适时调整所述测试集，以实现不同安全性的驾驶场景的加速测试。

2.根据权利要求1所述的基于对抗式强化学习的安全场景加速测试方法，其特征在于，所述测试用例库的确定方法具体为：

基于预设的自动驾驶的测试目标和通用测试场景数据格式，将场景参数划分为环境参数、路况参数和对象参数；所述测试目标包括设计运行域、动态驾驶任务和交规；

根据测试场景中的要求确定参数约束集，并获取所述测试场景中的未覆盖组合集；

对所有的所述场景参数进行取值，得到场景参数组合集；

根据所述参数约束集对所述场景参数组合集进行参数取值，得到参数取值组合集；

对取值过程进行重复迭代，以解析出参数空间；所述参数空间中包括所述未覆盖组合集；

基于组合测试算法，根据所述参数空间生成多个所述测试用例；所述测试用例库由多个所述测试用例构成。

3.根据权利要求2所述的基于对抗式强化学习的安全场景加速测试方法，其特征在于，所述根据测试场景中的要求确定参数约束集，包括：

将所述测试场景中的要求转化为多个约束；

根据所述约束得到初始约束集；

对所述初始约束集进行简化，得到最简约束集；

在所述最简约束集中对隐含约束进行寻找，并将寻找到的所述隐含约束加入至所述初始约束集，得到最终的所述参数约束集。

4.根据权利要求1所述的基于对抗式强化学习的安全场景加速测试方法，其特征在于，所述基于机器学习的代理仿真模型，设计可均衡开发与探索的采集函数，包括：

获取仿真测试场景数据；

利用所述仿真测试场景数据作为训练数据对预设的多层感知机神经网络进行训练，得到训练好的测试用例匹配代理模型；

通过超参数配置函数对所述训练好的测试用例匹配代理模型的网络参数进行迭代更新，得到具有最优泛化能力的测试用例匹配代理模型；所述最优泛化能力的测试用例匹配代理模型对应的超参数配置函数为所述采集函数；所述网络参数包括隐藏层数量、隐藏层神经元的数量、学习率、指数衰减率和训练数据批量大小。

5.根据权利要求1所述的基于对抗式强化学习的安全场景加速测试方法，其特征在于，所述基于所述自动驾驶被测对象，根据所述采集函数对所述测试用例库进行搜索，得到适合所述自动驾驶被测对象的测试集，包括：

基于超参数优化算法，根据所述采集函数获取最佳超参数配置；

根据所述最佳超参数配置确定输入样本点搜索方向；

根据所述输入样本点搜索方向对所述测试用例库进行搜索，得到所述自动驾驶被测对象的测试集。

6.根据权利要求1所述的基于对抗式强化学习的安全场景加速测试方法，其特征在于，所述基于对抗学习的方法，根据所述驾驶场景和所述自动驾驶被测对象进行测试，得到轨迹分布，包括：

通过强化学习交互对抗训练确定各个纳什均衡点；各个纳什均衡点对应着不同种类的驾驶场景；所述自动驾驶被测对象根据不同种类的所述驾驶场景进行修改进化；

通过对抗式强化学习确定新的纳什均衡点；

根据所述新的纳什均衡点对进行修改进化的自动驾驶被测对象的测试用例进行测试，生成基于对抗学习产生的所述轨迹分布。