[发明专利]一种车载视觉系统场景视深确定方法

权利要求书

1.一种车载视觉系统场景视深确定方法，所述车载视觉系统包括深度视深卷积神经网络模块，其特征在于，所述方法包括：

S1，采集车载视觉系统的参数配置信息和图像信息；

S2，对图像预处理，并将预处理后的时序图像在深度通道叠加，形成神经网络输入图像；

S3，深度视深卷积神经网络模块根据接收的所述神经网络输入图像信息确定视觉场景视深图；

S4，输出视觉场景视深图，按照视觉系统实际车辆安装参数，微调视深图输出以补偿安装位置变化，使得输出视深坐标系与车辆坐标系方向对齐：

其中， 为补偿后场景视深输出，为网络输出，R(θ)为旋转坐标变换矩阵；

还包括深度视深卷积神经网络模块进行离线训练的步骤，所述步骤包括：

采集各类道路驾驶场景数据，提取时序离散训练样本集，并通过激光雷达点云输出数据对训练样本集进行标定；

根据相机标定参数以及激光雷达系统标定参数，将两者坐标系对齐后，利用小孔成像原理将点云数据坐标变换至图像坐标系内，并通过双线性插值方法补全视深图非有效数据部分来生成场景视深mask；

根据采集设备的配置，离线生成相应视深图标签；

利用视频数据时间戳信息与RT设备高频采集信号匹配，积分采集周期内的X,Y,Z三个坐标轴对应的速度及角速度信息，得到神经网络对应的输出标签参考数据，所述输出标签参考数据为六自由度车辆与转动信息。

2.根据权利要求1所述的一种车载视觉系统场景视深确定方法，其特征在于，所述深度视深卷积神经网络模块离线训练步骤采用基于迷你批量方式的随机梯度下降方法，所述方法的每个循环内，基于反向递推对损失函数求最优解来优化网络权重参数，直至设定的循环迭代次数完成，所述损失函数Loss计算公式为：

其中，d(x,y)为输出视深图的每个像素（x,y）对应的视深，为训练样本视深标签，W, H为图像宽高。

3.根据权利要求1所述的一种车载视觉系统场景视深确定方法，其特征在于，还包括对深度视深卷积神经网络模块设备移植的步骤，所述深度视深卷积神经网络模块设备移植的步骤包括：

对离线训练步骤所生成的深度卷积神经网络进行基于所应用的嵌入式平台运算特性进行压缩操作，包括稀疏化与量化；

验证压缩后神经网络精度，若精度损失小于预设的阈值，则确定应用压缩后深度视深卷积神经网络模块；若神经精度损失大于预设的阈值，则在当前离线训练集上重新离线训练至精度损失小于预设的阈值。

4.根据权利要求1所述的一种车载视觉系统场景视深确定方法，其特征在于，所述深度视深卷积神经网络模块包括反卷积层，所述反卷积层用于将指定尺度的图像特征层进行上采样至输入尺度。