[发明专利]车辆视觉感知方法、装置、电子设备及存储介质

说明书

本发明提供一种车辆视觉感知方法、装置、电子设备及存储介质，该方法包括：获取带有标签信息的、包括障碍物与车道线的训练图像；采用多张训练图像对具有特征提取、特征融合与多头检测功能的目标检测网络进行训练，以构建视觉感知模型；获取车载相机拍摄的、包括障碍物与车道线的目标图像；将目标图像输入视觉感知模型，根据视觉感知模型的输出结果预测障碍物的目标边界框坐标、目标接地点坐标以及目标车道线坐标和目标消隐点坐标。本发明的特征的提取、融合与检测环节计算量较小，过程较简单，采用轻量级的目标检测网络即可实现。经过融合后的特征相互关联，多检测头的多任务融合既可降低计算量又可提高精度，同时使各特征信息得到较充分的利用。

技术领域

本发明涉及驾驶辅助系统技术领域，尤其涉及一种车辆视觉感知方法、装置、电子设备及存储介质。

背景技术

高级驾驶辅助系统(Advanced Driver Assistance System，ADAS)是利用安装于车上的多种传感器(摄像头、导航以及雷达等)，及时收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，进而使驾驶者能够在最短的时间内察觉安全隐患，以引起驾驶者注意，从而提高驾驶安全性的主动安全技术。

ADAS利用摄像头感知前方路况，通常包括LDW(车道偏离预警)功能、HMW(车距过近预警)功能及FCW(前碰撞预警)功能等，所有功能均需要依赖于所获取的障碍物位置与车道线位置的精度。通常，障碍物位置通过目标检测及回归算法获取，车道线检测可利用分割算法、基于点回归等深度学习网络来实现。

目前，ADAS感知算法的广泛做法是单模型输出物体检测框，另一模型输出车道线的坐标。该种方法计算量较大，过程较复杂，且需要多个步骤才能获取最终感知结果。同时，障碍物检测和车道线检测任务之间无任何联系，难以充分利用图像信息。

发明内容

本发明提供一种车辆视觉感知方法、装置、电子设备及存储介质，用以解决现有技术中ADAS感知算法计算量大、过程较复杂以及难以充分利用图像信息的缺陷，实现感知算法的计算量小、过程简单以及图像信息的较充分利用。

本发明提供一种车辆视觉感知方法，所述方法包括：

获取带有标签信息的、包括障碍物与车道线的训练图像，所述标签信息包括障碍物的边界框原始坐标、接地点原始坐标、车道线原始坐标与消隐点原始坐标；

采用多张所述训练图像对具有特征提取、特征融合与多头检测功能的目标检测网络进行训练，以构建视觉感知模型；

获取车载相机拍摄的、包括障碍物与车道线的目标图像；

将目标图像输入所述视觉感知模型，根据所述视觉感知模型的输出结果预测障碍物的目标边界框坐标、目标接地点坐标以及目标车道线坐标和目标消隐点坐标。

根据本发明提供的一种车辆视觉感知方法，所述特征提取、特征融合与多头检测，包括：

提取训练图像中的第一特征与第二特征，并对所述第一特征与第二特征进行特征融合，所述第一特征包括障碍物及其边界框与接地点的原始坐标，所述第二特征包括车道线及车道线原始坐标与消隐点原始坐标；

对融合后的第一特征与第二特征进行多头检测，分别输出障碍物与车道线的属性，所述障碍物与车道线的属性包括障碍物的热图、偏移量与类别，接地点的偏移量，以及车道线的热图、偏移量，以及消隐点的热图与偏移量；

将所述障碍物与车道线的属性回归至障碍物的边界框坐标、接地点坐标、车道线坐标与消隐点坐标。

根据本发明提供的一种车辆视觉感知方法，所述将所述障碍物与车道线的属性回归至障碍物的边界框坐标、接地点坐标、车道线坐标与消隐点坐标，包括：