[发明专利]车辆视觉感知方法、装置、电子设备及存储介质

权利要求书

1.一种车辆视觉感知方法，其特征在于，所述方法包括：

获取带有标签信息的、包括障碍物与车道线的训练图像，所述标签信息包括障碍物的边界框原始坐标、接地点原始坐标、车道线原始坐标与消隐点原始坐标；

采用多张所述训练图像对具有特征提取、特征融合与多头检测功能的目标检测网络进行训练，以构建视觉感知模型；

获取车载相机拍摄的、包括障碍物与车道线的目标图像；

将目标图像输入所述视觉感知模型，根据所述视觉感知模型的输出结果预测障碍物的目标边界框坐标、目标接地点坐标以及目标车道线坐标和目标消隐点坐标。

2.根据权利要求1所述的车辆视觉感知方法，其特征在于，所述特征提取、特征融合与多头检测，包括：

提取训练图像中的第一特征与第二特征，并对所述第一特征与第二特征进行特征融合，所述第一特征包括障碍物及其边界框与接地点的原始坐标，所述第二特征包括车道线及车道线原始坐标与消隐点原始坐标；

对融合后的第一特征与第二特征进行多头检测，分别输出障碍物与车道线的属性，所述障碍物与车道线的属性包括障碍物的热图、偏移量与类别，接地点的偏移量，以及车道线的热图、偏移量，以及消隐点的热图与偏移量；

将所述障碍物与车道线的属性回归至障碍物的边界框坐标、接地点坐标、车道线坐标与消隐点坐标。

3.根据权利要求2所述的车辆视觉感知方法，其特征在于，所述将所述障碍物与车道线的属性回归至障碍物的边界框坐标、接地点坐标、车道线坐标与消隐点坐标，包括：

根据障碍物热图、偏移量与类别，以及接地点的偏移量分别获得障碍物的置信度、障碍物的中心点与宽高、障碍物的类别，以及接地点相对障碍物中心点的偏移值；

根据车道线热图、偏移量，以及消隐点的热图与偏移量分别获得车道线的置信度、车道线点集相对起始点的偏移值，以及消隐点的置信度与消隐点坐标。

4.根据权利要求3所述的车辆视觉感知方法，其特征在于，所述根据将所述障碍物与车道线的属性回归至障碍物的边界框坐标、接地点坐标、车道线坐标与消隐点坐标，还包括：

将障碍物的中心点与宽高表示为障碍物的边界框坐标，接地点相对障碍物中心点的偏移值表示为接地点坐标；

将车道线点集相对起始点的偏移值表示为车道线坐标。

5.根据权利要求1所述的车辆视觉感知方法，其特征在于，所述采用多张所述训练图像对具有特征提取、特征融合与多头检测功能的目标检测网络进行训练，之前还包括：

将边界框原始坐标表示为障碍物中心点坐标与宽高，接地点原始坐标表示为相对障碍物中心点的偏移值，所述边界框的原始坐标为边界框的左上右下坐标；

将车道线的点集原始坐标表示为相对车道线起始点的偏移值，所述消隐点的原始坐标保留原值。

6.根据权利要求1至5中任意一项所述的车辆视觉感知方法，其特征在于，所述采用多张所述训练图像对具有特征提取、特征融合与多头检测功能的目标检测网络进行训练，包括：

选用backbone网络提取特征，其中，backbone采用shufflenetV2作为主体；

使用neck网络对提取的特征进行融合，其中Neck网络使用PAN增强特征；

运用multi-head分别检测融合后的特征；

以heatmap+offset的方式回归处理获得障碍物的边界框坐标、接地点坐标、车道线坐标与消隐点坐标。

7.一种车辆视觉感知装置，其特征在于，所述装置包括：

第一获取模块，用于获取带有标签信息的、包括障碍物与车道线的训练图像，所述标签信息包括障碍物的边界框原始坐标、接地点原始坐标、车道线原始坐标与消隐点原始坐标；

训练构建模块，用于采用多张所述训练图像对具有特征提取、特征融合与多头检测功能的目标检测网络进行训练，以构建视觉感知模型；

第二获取模块，用于获取车载相机拍摄的、包括障碍物与车道线的目标图像；

预测模块，用于将目标图像输入所述视觉感知模型，根据所述视觉感知模型的输出结果预测障碍物的目标边界框坐标、目标接地点坐标以及目标车道线坐标和目标消隐点坐标。