[发明专利]基于深度强化学习的自动驾驶方法和系统

说明书

本发明公开了一种基于深度强化学习的自动驾驶方法和系统，上述方法通过搭建输入为自动驾驶汽车传感器测量的环境信息，输出为汽车控制动作集的网络模型，将自动驾驶汽车传感器测量的当前环境信息输入网络模型，得到当前控制动作集，设计动作噪声，采用动作噪声修正所述当前控制动作集，得到最终控制动作集，采用最终控制动作集控制自动驾驶汽车行驶，能够实现对自动驾驶汽车的准确实时控制。

技术领域

本发明涉及强化学习自动驾驶技术领域，尤其涉及一种基于深度强化学习的自动驾驶方法和系统。

背景技术

现有的自动驾驶解决方案主要依靠建图、规划、控制等模块，通过“高精地图+运动规划+控制”使汽车能够自动行驶。随着科技不断进步，人工智能技术的快速发展，一大批智能算法被研发出来。其中强化学习算法被逐渐的应用与自动驾驶技术中，强化学习是一种交互学习式算法，机器人通过与环境交互，从环境中获取奖励制来修正动作，最终学习能够执行最佳动作。因为强化学习是一种更接近于人类学习方式的一种算法，使机器人朝着更加智能化的方向发展。由于传统的路径规划技术依赖于环境地图，因此在复杂环境下，规划算法的实时性不高，无法及时应对复杂多变的环境。

发明内容

针对以上问题，本发明提出一种基于深度强化学习的自动驾驶方法和系统。

为实现本发明的目的，提供一种基于深度强化学习的自动驾驶方法，包括如下步骤：

搭建输入为自动驾驶汽车传感器测量的环境信息，输出为汽车控制动作集的网络模型；

将自动驾驶汽车传感器测量的当前环境信息输入网络模型，得到当前控制动作集；

设计动作噪声，采用动作噪声修正所述当前控制动作集，得到最终控制动作集；

采用最终控制动作集控制自动驾驶汽车行驶。

在一个实施例中，在所述采用最终控制动作集控制自动驾驶汽车行驶之后，所述方法还包括：

通过预设的损失函数计算出当前控制动作集和真实值之间的误差，根据当前控制动作集和真实值的误差采用反向传播的方法训练网络模型的网络参数，以减小网络模型的误差。

具体地，在所述采用最终控制动作集控制自动驾驶汽车行驶之后，所述方法还包括：

根据预设的安全标准、车速范围和自动驾驶汽车与道路边缘之间的距离设计报酬函数。

在一个实施例中，所述网络模型的搭建过程包括：

将网络模型搭建为输入是自动驾驶汽车传感器测量的环境信息，经过两个隐藏层，最终输出三个控制动作集的模型；

具体地，所述三个控制动作集包括方向盘控制集、加速控制集和刹车控制集；

所述方向盘控制集经过所述网络模型的激活函数作用最终在输出层输出一个(-1，+1)的动作集；其中-1代表最大右转，+1代表最大左转；

所述加速控制集通过所述网络模型的激活函数sigmoid的作用最终输出一个(0，1)的动作集；其中0代表不加速，+1代表全加速；

所刹车控制集经过所述网络模型的激活函数sigmoid的作用输出一个(0，1)的连续动作；其中0代表不刹车，1代表紧急刹车。

在一个实施例中，自动驾驶汽车传感器测量的当前环境信息的获取过程包括：

获取观测值，所述观测值定义为汽车车身方向和道路轴之间的夹角(-π-π)；

获取汽车速度；所述汽车速度包括汽车纵向轴线速、汽车的横向轴线的速度和汽车的Z轴线的速度；

获取车轮的旋转速度；

获取汽车发动机的每分钟转速；