[发明专利]视觉语义分割方法、装置及设备

权利要求书

1.一种视觉语义分割方法，其特征在于，包括：

获得传感器所处环境中的单帧图像数据和多帧时序点云数据；

根据所述多帧时序点云数据，获得包含静态语义的稠密环境点云信息；

获得所述单帧图像数据的第一特征数据，以及，所述包含静态语义的稠密环境点云信息的第二特征数据；

将所述第一特征数据和所述第二特征数据输入前融合模型进行深度学习模型建模，获得融合后的视觉语义分割结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多帧时序点云数据，获得包含静态语义的稠密环境点云信息，包括：

将采集周期内获得的多帧时序点云数据进行拼接；

在拼接后的数据中去除动态障碍物点云信息，得到包含静态语义的稠密环境点云信息。

3.根据权利要求2所述的方法，其特征在于，所述多帧时序点云数据通过如下方法进行拼接：

在采集周期内传感器获得定位位姿以及多个单帧点云信息；

根据各帧点云对应的定位位姿，将多个单帧点云信息拼接为所述多帧时序点云数据。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

将所述包含静态语义的稠密环境点云信息与所述单帧图像数据进行投影标定映射，得到与所述包含静态语义的稠密环境点云信息一一对应的单帧图像信息；

相应的，所述获得所述单帧图像数据的第一特征数据，包括：

获得与所述包含静态语义的稠密环境点云信息一一对应的单帧图像信息的第一特征数据。

5.根据权利要求1所述的方法，其特征在于，所述将所述第一特征数据和所述第二特征数据输入前融合模型进行深度学习模型建模，获得融合后的视觉语义分割结果，包括：

根据所述第一特征数据和所述第二特征数据，获得融合后的第三特征数据；

根据所述第三特征数据，获得融合后的视觉语义分割结果。

6.根据权利要求1所述的方法，其特征在于，所述第二特征数据采用如下方式获得：

对所述包含静态语义的稠密环境点云信息进行体素化处理；

获得各个体素的特征数据，作为所述第二特征数据。

7.一种视觉语义分割装置，其特征在于，包括：

数据采集单元，用于获得传感器所处环境中的单帧图像数据和多帧时序点云数据；

多帧点云处理单元，用于根据所述多帧时序点云数据，获得包含静态语义的稠密环境点云信息；

特征构造单元，用于获得所述单帧图像数据的第一特征数据，以及，所述包含静态语义的稠密环境点云信息的第二特征数据；

前融合视觉语义分割单元，用于将所述第一特征数据和所述第二特征数据输入前融合模型进行深度学习模型建模，获得融合后的视觉语义分割结果。

8.根据权利要求7所述的装置，其特征在于，所述多帧点云处理单元包括：

多帧点云拼接单元，用于将采集周期内获得的多帧时序点云数据进行拼接；

动态障碍物点云去除单元，用于在拼接后的数据中去除动态障碍物点云信息，得到包含静态语义的稠密环境点云信息。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

数据对齐单元，用于将所述包含静态语义的稠密环境点云信息与所述单帧图像数据进行投影标定映射，得到与所述包含静态语义的稠密环境点云信息一一对应的单帧图像信息；

所述特征构造单元，具体用于获得与所述包含静态语义的稠密环境点云信息一一对应的单帧图像信息的第一特征数据。

10.根据权利要求7所述的装置，其特征在于，所述前融合视觉语义分割单元包括：

特征融合单元，用于根据所述第一特征数据和所述第二特征数据，获得融合后的第三特征数据；

深度学习单元，用于根据所述第三特征数据，获得融合后的视觉语义分割结果。