[发明专利]一种无人驾驶车辆控制模型在线增量式学习方法

说明书

本发明公开了一种无人驾驶车辆控制模型在线增量式学习方法，云端在线学习系统利用车端上传的数据，对现有控制模型进行在线学习，得到更新的模型，并通过验证数据集对更新的模型进行验证，计算其与现有模型在验证集上的模型精度，若精度误差小于预定义阈值，则将此模型下传至车端。车端数据采集系统利用当前模型的输出与人类驾驶员实时输出的驾驶动作进行对比，若输出差别大于预定义阈值，则将数据缓存中存储的固定时间长度的传感器数据与驾驶动作序列上传至云端，触发当前控制模型的在线学习过程。本发明能够利用人类驾驶员开车时的实时数据对基于机器学习的控制模型进行增量式更新，促进控制模型不断优化，是一个新颖、实用的思路。

技术领域

本发明涉及无人驾驶车辆及其相关应用技术领域，尤其涉及一种基于机器学习的无人驾驶车辆控制模型训练数据采集与模型在线增量学习方法。

背景技术

无人驾驶车辆在国民经济以及国防等领域有着巨大的应用前景。传统的无人驾驶车辆采用感知、规划、控制等分层技术架构，各种关键技术相互耦合，技术复杂度极高，导致无人驾驶车辆落地应用遇到巨大的障碍。

近年来，深度学习等人工智能技术的快速进步，给无人驾驶车辆带来了难得的发展机遇。然而，当前的深度学习技术需要大量标注好的数据进行有监督的学习，这种有标注的数据获取成本极为高昂；当前深度学习模型大都是一次训练完就投入部署应用，难以适应驾驶场景与环境的不断变化。

发明内容

本发明目的就是为了弥补已有技术的缺陷，提供一种无人驾驶车辆控制模型在线增量式学习方法。能够解决传统深度学习所需的大量数据标注成本高以及习得的控制模型难以适应环境以及场景的变化等问题。

本发明是通过以下技术方案实现的：

一种无人驾驶车辆控制模型在线增量式学习方法，包括有无人驾驶车辆控制模型、云端在线学习系统和车端数据采集系统，所述的无人驾驶车辆控制模型是由基于深度学习的端到端模型构成的；所述的云端在线学习系统通过利用车端数据采集系统采集的训练数据，采用在线学习算法对当前的无人驾驶车辆控制模型进行在线学习更新，然后对更新后的控制模型进行验证，通过比较更新后的控制模型与更新前的控制模型的精度差别，确定是否下传更新的控制模型；每次学习后，用学习更新后的控制模型替换原来的控制模型，保持控制模型的不断更新；所述的车端数据采集系统运行无人驾驶车辆控制模型时通过驾驶员控制无人驾驶车辆的动作执行，然后计算控制模型的输出值与驾驶员实时输出的驾驶动作的差别，若差别大于预定义阈值，则将数据缓存中存储的固定时间长度的多个传感器数据与驾驶动作序列关键数据上传至云端，触发当前控制模型的在线学习过程。

所述的无人驾驶车辆控制模型是一个时变模型，控制模型M_t表示如下：

M_t＝f(I_1:t,θ_t)

其中，I_t表示t时刻的训练数据集合，θ_t表示t时刻控制模型的参数。

所述的车端数据采集系统采集的训练数据是由一定时间段内的多个传感器数据与驾驶动作序列组成：

I_t＝{d₁,d₂,...,d_n}

上式中，I_t表示t时刻车端上传的训练数据序列，d_i表示一个训练样本,n为样本数量，i表示样本序号。d_i表示为：

d_i＝(s₁,s₂,...,s_m,throttle,steering,brake)