[发明专利]视觉语义分割方法、装置及设备

说明书

本申请公开了视觉语义分割方法和装置。其中，所述方法包括：获得传感器所处环境中的单帧图像数据和多帧时序点云数据；根据所述多帧时序点云数据，获得包含静态语义的稠密环境点云信息；获得所述单帧图像数据的第一特征数据，以及，所述包含静态语义的稠密环境点云信息的第二特征数据；将所述第一特征数据和所述第二特征数据输入前融合模型进行深度学习模型建模，获得融合后的视觉语义分割结果。采用这种处理方式，使得将多个单帧激光点云进行多帧点云信息时序拼接，并将其中的动态障碍物信息去除，获得稠密的静态环境语义信息，相比于单帧激光点云的稀疏性，去除动态障碍物的多帧稠密点云信息能更好地提升整体视觉语义分割的效果。

技术领域

本申请涉及自动驾驶技术领域，具体涉及视觉语义分割方法和装置，视觉语义分割构建方法和装置，以及车辆。

背景技术

在自动驾驶领域,视觉语义分割是一项极其重要的任务，是自动驾驶领域丰富的环境语义信息的源头，对整体自动驾驶感知的效果起着至关重要的作用。因此，视觉语义分割的效果的提升就成了自动驾驶中非常关键的一个任务。

目前，一种典型的视觉语义分割方案是基于摄像头采集的图像数据进行视觉语义分割。例如，可利用摄像头采集的单帧图像信息训练端到端的深度学习语义分割模型，或者是利用多帧图像输入，结合时序图像信息训练端到端的深度学习语义模型。

然而，在实现本发明过程中，发明人发现上述视觉语义分割方案所采取的传感器仅仅包含摄像头，也就是仅仅用图像来提升整体视觉语义分割的效果，这使得通过视觉语义分割获得的行车环境信息受不同天气(如雨天)，不同镜头条件(如镜头模糊)，不同时间(如夜间)的成像影响较大，鲁棒性较差，无法确保复杂路况下自动驾驶的安全性。此外，发明人还发现基于单帧图像和单帧点云进行视觉语义分割时，由于单帧点云通常具有稀疏性，因此也无法较好地提升整体视觉语义分割的效果。进一步的，发明人还发现在基于单帧图像和多帧时序点云数据进行视觉语义分割时，行车环境中的动态障碍物会影响视觉语义分割效果。

发明内容

本申请提供视觉语义分割方法，以解决现有技术存在的在极端天气等情况下视觉语义分割效果较差的问题。本申请另外提供视觉语义分割装置及系统，视觉语义分割模型构建方法和装置，车辆，以及电子设备。

本申请提供一种视觉语义分割方法，包括：

获得传感器所处环境中的单帧图像数据和多帧时序点云数据；

根据所述多帧时序点云数据，获得包含静态语义的稠密环境点云信息；

获得所述单帧图像数据的第一特征数据，以及，所述包含静态语义的稠密环境点云信息的第二特征数据；

将所述第一特征数据和所述第二特征数据输入前融合模型进行深度学习模型建模，获得融合后的视觉语义分割结果。

可选的，所述根据所述多帧时序点云数据，获得包含静态语义的稠密环境点云信息，包括：

将采集周期内获得的多帧时序点云数据进行拼接；

在拼接后的数据中去除动态障碍物点云信息，得到包含静态语义的稠密环境点云信息。

可选的，所述多帧时序点云数据通过如下方法进行拼接：

在采集周期内传感器获得定位位姿以及多个单帧点云信息；

根据各帧点云对应的定位位姿，将多个单帧点云信息拼接为所述多帧时序点云数据。

可选的，所述方法还包括：

将所述包含静态语义的稠密环境点云信息与所述单帧图像数据进行投影标定映射，得到与所述包含静态语义的稠密环境点云信息一一对应的单帧图像信息；

相应的，所述获得所述单帧图像数据的第一特征数据，包括：