[发明专利]一种自动驾驶控制方法、装置、设备及可读存储介质

说明书

本发明公开了一种自动驾驶控制方法，该方法使用有噪声和无噪声双策略网络进行参数的优化设置，将相同的车辆交通环境状态信息输入至有噪声和无噪声双策略网络中，以无噪声策略网络作为对比和基准，设定动作空间扰动阈值进行噪声参数的自适应调整，通过在策略网络参数空间自适应注入噪声，间接添加动作噪声，能够有效提升深度强化学习算法对环境和动作空间的探索，提升基于深度强化学习的自动驾驶探索性能和稳定性，保证车辆决策和动作选择充分考虑环境状态、驾驶策略的影响，进而提升自动驾驶车辆的稳定性、安全性。本发明还公开了一种自动驾驶控制装置、设备及可读存储介质，具有相应的技术效果。

技术领域

本发明涉及自动驾驶技术领域，特别是涉及一种自动驾驶控制方法、装置、设备及可读存储介质。

背景技术

现代城市交通中，机动车数量日益增多，道路拥堵情况严重，且交通事故频发。辅助驾驶/自动驾驶作为最有潜力改善交通状况、提升出行安全与便捷程度的方式，受到越来越多的关注。自动驾驶是一项十分复杂的集成性技术，涵盖车载传感器、数据处理器、控制器等硬件装置，借助现代移动通信与网络技术实现各交通参与者之间的信息传递与共享，通过复杂算法完成环境感知、决策规划和控制执行等功能，实现车辆的自动加速/减速、转向、超车、刹车等操作。

现有的自动驾驶研究和应用方式主要分为两类，模块化方法和端到端方法。其中，端到端方法中的强化学习方法借助马尔科夫决策过程（MDP）从头开始探索和改进自动驾驶策略。由于以强化学习为代表的高级机器学习方法的快速发展，以及超越人类驾驶员的内在潜力，因此基于强化学习的自动驾驶研究与应用具有广阔的发展前景。

目前，基于深度强化学习的自动驾驶序列决策过程中车辆依据当前交通环境状态，利用神经网络表示的驾驶策略选取动作，为了帮助自动驾驶车辆对动作空间进行充分探索，需要在每一个决策过程所选取动作基础上增加一个探索噪声，以增加自动驾驶策略的探索性，探索噪声一般采取高斯分布采样的形式，由于探索噪声具有随机性，这种随机噪声与环境状态、驾驶策略均无关联，导致添加的噪声大小不可控，自动驾驶车辆面对同样的交通状态可能做出不同决策，如果最后生成的决策有问题，就不能确定是神经网络出问题还是扰动出问题，导致探索更加无法预测，容易为自动驾驶带来安全隐患。

综上所述，如何提升自动驾驶车辆的稳定性以及安全性，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种自动驾驶控制方法、装置、设备及可读存储介质，可以提升自动驾驶车辆的稳定性以及安全性。

为解决上述技术问题，本发明提供如下技术方案：

一种自动驾驶控制方法，包括：

初始化深度强化学习自动驾驶决策系统的系统参数；其中，所述深度强化学习自动驾驶决策系统包括：无噪声策略网络、有噪声策略网络；

获取车辆交通环境状态信息；

将所述车辆交通环境状态信息分别输入至所述无噪声策略网络以及所述有噪声策略网络进行自动驾驶策略生成，得到无噪声策略以及有噪声策略；

根据所述有噪声策略与所述无噪声策略，在扰动阈值范围内调整注入至所述有噪声策略网络的噪声参数；

根据所述噪声参数对所述有噪声策略网络的系统参数进行参数优化，生成优化有噪声策略网络；

根据所述优化有噪声策略网络生成的驾驶策略进行自动驾驶控制。

可选地，所述根据所述有噪声策略与所述无噪声策略，在扰动阈值范围内调整注入至所述有噪声策略网络的噪声参数，包括：

计算所述有噪声策略与所述无噪声策略间的策略差异；

判断所述策略差异是否超过所述扰动阈值；

若超过，将所述策略差异与调制因子的商作为所述噪声参数；