[发明专利]一种基于深度强化学习的多传感器在线标定方法及系统

权利要求书

1.一种基于深度强化学习的多传感器在线标定方法，其特征在于：包括如下步骤：

步骤1，定义传感器标定环境状态以及获取环境数据，其中，将传感器标定环境状态定义为三个层级，分别为像素级、特征级以及目标级，环境数据的获取方法为直接通过传感器反馈信息进行获取；

步骤2，每个传感器的行为定义为通过标定矩阵进行体现，通过标定矩阵，将待标定传感器信息转移到目标传感器坐标系中，以每个传感器作为深度强化学习的智能体，以标定矩阵为每个智能体的行为模型，构建深度强化中多传感器间联合标定模型；

步骤3，定义多传感器标定奖励模型，该奖励模型主要是给出每个智能体在优化标定矩阵过程中给出标定矩阵变换的效益函数；

步骤4，对步骤2中获得的标定模型采用离线初学习以及在线实时学习更新；所述步骤4中的离线初学习是根据采集的离线数据进行学习，采集的离线数据包括多传感器探测的环境信息，所述步骤4中的在线实时学习更新中，根据实时的传感器信息进行网络更新与在线优化，实时更新传感器标定矩阵。

2.根据权利要求1所述的基于深度强化学习的多传感器在线标定方法，其特征在于：所述步骤1中的像素级环境状态表示为Pi，i＝0，1，2…N，Pi为环境中传感器探测的环境中某一点信息，此时N表示传感器探测的环境点个数，特征级环境状态表示为Fi，i＝0，1，2…X，Fi为环境中传感器探测的环境中某局部特征信息，此时X表示根据传感器探测原始数据预处理得到的环境局部特征个数，目标级环境状态表示为Oi，i＝0，1，2…Y，Oi为环境中传感器探测的环境中某一点信息，此时Y表示传感器探测的环境点个数，对于车载毫米雷达而言，Oi表示环境中某个障碍物目标信息。

3.根据权利要求2所述的基于深度强化学习的多传感器在线标定方法，其特征在于：所述步骤3中的效益函数定义如下：

其中，Ro表示目标级环境状态下的效益函数，Rf表示特征级环境状态下的效益函数，Rp表示像素级环境状态下的效益函数。

4.根据权利要求3所述的基于深度强化学习的多传感器在线标定方法，其特征在于：所述Ro定义如下：

其中，i表示考虑的帧序号，T表示考虑的总帧数；j表示对应不同传感器中的目标，M表示目标考虑的目标总个数；P_ij表示待标定传感器根据坐标转换前第i个帧中第j个目标的位置信息，Mc表示传感器选择的行为即联合标定的矩阵，P_j表示目标传感器中对应的第i个帧中第j个目标的位置信息；L_ij表示待标定传感器根据坐标转换前第i个帧中第j个目标的形状信息，L_j表示目标传感器中对应的第i个帧中第j个目标的形状信息；O_ij表示待标定传感器根据坐标转换前第i个帧中第j个目标的朝向信息，O_j表示目标传感器中对应的第i个帧中第j个目标的朝向估计值；V_ij表示待标定传感器根据坐标转换前第i个帧中第j个目标的目标速度信息，V_j表示目标传感器中对应的第i个帧中第j个目标的速度估计值；λ_k≥0，k＝0，1，2，3表示预测误差权重，其中满足：

λ₀+λ₁+λ₂+λ₃＝1。

5.根据权利要求3或4所述的基于深度强化学习的多传感器在线标定方法，其特征在于：所述Rf定义如下：

其中，i表示考虑的帧序号，T表示考虑的总帧数；j表示对应不同传感器中的特征，M表示考虑的特征总个数；Fl_ij表示待标定传感器根据坐标转换前第i个帧中第j个直线特征的信息，Mc表示传感器选择的行为即联合标定的矩阵，Fl_j表示目标传感器中对应的第i个帧中第j个直线特征的信息；Fp_ij表示待标定传感器根据坐标转换前第i个帧中第j个平面特征的信息，Fp_j表示目标传感器中对应的第i个帧中第j个直线特征的信息；λ_k≥0，k＝0，1表示预测误差权重，其中满足：

λ₀+λ₁＝1。