[发明专利]一种用于车辆自动驾驶的策略网络模型的生成方法及装置

说明书

本发明适用计算机技术领域，提供了一种用于车辆自动驾驶的策略网络模型的生成方法及装置，所述方法包括：将每个试验时刻采集到的车辆状态信息构成状态信息集，对状态信息集进行处理，获得特征状态信息集；根据预设的回报值函数和预先构建的车辆动作集，查找在特征状态信息集的每个状态信息下获得最大回报值的车辆动作；根据特征状态信息集、特征状态信息集中每个状态信息对应的最大回报值和获得最大回报值的车辆动作，训练极限学习机的网络模型；根据极限学习机的网络模型的训练结果，生成用于车辆自动驾驶的策略网络模型，从而有效地降低了计算资源的消耗，有效地提高了车辆自动驾驶策略网络模型的生成效率。

技术领域

本发明属于计算机技术领域，尤其涉及一种用于车辆自动驾驶的策略网络模型的生成方法及装置。

背景技术

随着经济的发展和城镇化的推进，全球汽车保有量和道路里程逐步增加，导致诸如交通拥堵、事故、污染、土地资源紧缺等一系列传统汽车无法妥善解决的问题日益凸显。无人驾驶汽车技术被视为这些问题的有效解决方案，其发展被受瞩目，美国电子和电子工程师协会(IEEE)预测，至2040年自动驾驶车辆数目所占比例将达到75％。

无人驾驶汽车，即在没有司机的情况下通过自身的辅助驾驶系统在道路上行驶，具备环境感知能力。辅助驾驶系统通过传感器获取的环境信息做出控制决策，已出现了多种用于辅助驾驶系统的传感器和产品，例如：激光雷达、机器视觉、自适应巡航、车辆接近通报装置、夜视辅助、自适应前照明系统等。

目前，辅助驾驶系统的控制方法主要为基于规则的控制决策，即根据已知的驾驶经验构建对车辆环境信息输出控制决策的专家规则系统，专家规则系统这类浅层学习算法可看作从被标记的数据之间寻找规律的过程，当规则很难被抽象成公式或简单逻辑时，浅层学习就无法奏效，然而，自动驾驶场景类别多样、路况复杂，很难用有限的规则定义清楚。

随着深度强化学习技术的快速发展，一些研究机构提出“端对端”式的自动驾驶算法，通过深度网络构建辅助驾驶系统中的控制决策模型。这类方法不需要对车辆的状态进行基于规则的识别。然而，对车辆自动驾驶进行深度学习要求强大的计算资源，例如需要数百瓦的图形处理器(GPU)等长时间(数天到数周)的训练，才能得到一个决策网络，如果外界条件改变，则需要重新训练。

发明内容

本发明的目的在于提供一种用于车辆自动驾驶的策略网络模型的生成方法及装置，旨在解决现有技术中策略网络模型的生成效率较低的问题。

一方面，本发明提供了一种用于车辆自动驾驶的策略网络模型的生成方法，所述方法包括下述步骤：

将每个试验时刻采集到的车辆状态信息构成状态信息集，对所述状态信息集进行处理，获得特征状态信息集；

根据预设的回报值函数和预先构建的车辆动作集，查找在所述特征状态信息集的每个状态信息下获得最大回报值的车辆动作；

根据所述特征状态信息集、所述特征状态信息集中每个状态信息对应的最大回报值和所述获得最大回报值的车辆动作，训练极限学习机的网络模型；

根据所述极限学习机的网络模型的训练结果，生成用于所述车辆自动驾驶的策略网络模型。

另一方面，本发明提供了一种用于车辆自动驾驶的策略网络模型的生成装置，所述装置包括：

状态处理模块，用于将每个试验时刻采集到的车辆状态信息构成状态信息集，对所述状态信息集进行处理，获得特征状态信息集；

强化学习模块，用于根据预设的回报值函数和预先构建的车辆动作集，查找在所述特征状态信息集的每个状态信息下获得最大回报值的车辆动作；

极限学习机训练模块，用于根据所述特征状态信息集、所述特征状态信息集中每个状态信息对应的最大回报值和所述获得最大回报值的车辆动作，训练极限学习机的网络模型；以及