[发明专利]一种基于深度强化学习的多传感器在线标定方法及系统

说明书

一种基于深度强化学习的多传感器标定方法及系统，该专利提供一种基于深度神经网络和强化学习的多模型目标状态预测方法，有效应对多模型融合的复杂的强非线性环境表达与目标状态长时间预测问题，有助于提高目标状态预测精度和预测时长，实现多模型融合的在线参数自修正。该专利提供的标定方法具有优势：1）自适应环境场景变化，自调节多模型目标状态预测参数；2）提高目标状态预测精度；3）提高目标状态预测时间长度；4）在线自学习多模型预测参数，提高动态场景下目标状态预测精度。

技术领域

本发明涉及一种面向智能驾驶系统的多传感器标定方法及系统，特别是关于一种基于深度强化学习的自动驾驶系统多传感器在线标定方法及系统。

背景技术

智能驾驶对交通安全，交通效率以及环保节能等有着积极的作用。世界各国政府和交通道路相关的运营商对智能车辆越来越感兴趣，希望智能车辆能够让道路交通更安全、更高效、更环保。智能车辆是通过自主感知环境、自主决策和智能控制，提高对交通环境的反应速度，在不同的场景包括危险场景下快速地进行相应操作。智能车辆环境感知模块通过车载传感器获取环境信息，通常每辆智能车辆上都安装不止一个传感器，这些同构或异构的传感器安装在车辆的不同位置上，但获取的原始数据都是基于自身传感器坐标系。因此，针对不同安装位置的车载传感器需要通过外参数标定将自身传感器坐标系下测量读数统一到同一坐标系下，该同一坐标系一般是车辆坐标系。完成智能车辆车载传感器外参数的标定是实现多传感器融合技术的基础，对环境感知技术水平有着重要影响。

多传感器标定主要包括离线标定和在线标定，常用的标定方法有直接测量法、人工取点法、场景特征法等。目前，现有方法还存在一下问题：1)标定精度低，直接测量和人工去点往往存在各自误差包括人为操作带来的误差。2)费时耗力，直接测试和人工取点都需要人为干预，如果对大量的设备进行标定，则会带来大量的工作量，难以实现智能驾驶系统的量产化。3)需要在特定的场景下进行，场景特征法等需要为传感器的标定设计特定的场景，无法实现对传感器的在线标定。4)难以应对异构传感器间的联合标定，现有方法往往只针对某个传感器进行标定，无法进行多个传感器间的相互标定以及相互在线校正。

近年来强化学习以及深度强化学习方法广泛应用于智能驾驶领域，能够有效应对复杂的强非线性问题，而多传感器标定问题就是一个强非线性的优化问题。将深度强化学习应用于多传感器的标定，有助于提高传感器标定精度，实现多传感器在线标定。但相关工作暂未有人开展。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于深度强化学习的多传感器在线标定方法，利用深度强化学习网络在线实时估计多传感器的联合外参标定结果，保证智能驾驶系统的自我标定以及自我修正。

为实现上述目的，本发明提供了如下技术方案：一种基于深度强化学习的多传感器在线标定方法，包括如下步骤：

步骤1，定义传感器标定环境状态以及获取环境数据，其中，将传感器标定环境状态定义为三个层级，分别为像素级、特征级以及目标级，环境数据的获取方法为直接通过传感器反馈信息进行获取；

步骤2，以每个传感器作为深度强化学习的智能体，以标定矩阵为每个智能体的行为模型，构建深度强化中多传感器间联合标定模型；

步骤3，定义多传感器标定奖励模型，该奖励模型主要是给出每个智能体在优化标定矩阵过程中给出标定矩阵变换的效益函数；

步骤4，对步骤2中获得的标定模型采用离线初学习以及在线实时学习更新。