[发明专利]基于3D-YOLO的语义分割方法及系统

权利要求书

1.一种基于3D-YOLO的语义分割方法，其特征在于，包括：

分别对采集到的RGB图像和深度图像按照拍摄时间分别进行排序，得到RGB图像帧序列及深度图像帧序列；

将RGB图像帧序列及深度图像帧序列转化成三维点云图；

将所述三维点云图作为输入，通过特征学习网络将所述三维点云图转化成三维特征张量，并输入3D-Net网络；

通过所述3D-Net网络获得目标三维位置预测框。

2.根据权利要求1所述的方法，其特征在于，在将RGB图像帧序列及深度图像帧序列转化成三维点云图之前，所述方法还包括：

在RGB图像帧序列及深度图像帧序列中，每个预设数量帧选择一帧图像作为关键帧；

将确定的关键帧序列保留，将其他帧序列丢弃。

3.根据权利要求2所述的方法，其特征在于，将RGB图像帧序列及深度图像帧序列转化成三维点云图包括：

根据点云坐标系分别与保存关键帧的RGB图像坐标系及深度图像坐标系之间的映射关系，依次将RGB图像坐标系与深度图像坐标系中的每帧转化为点云坐标系中的每一帧。

4.根据权利要求1所述的方法，其特征在于，将所述三维点云图作为输入，通过特征学习网络将所述三维点云图转化成三维特征张量，并输入3D-Net网络包括：

将所述三维点云图划分为多个三维子网格；

通过随机采样选取预设数量的三维点云图作为特征学习网络的输入，将所述三维点云图转化成三维特征张量。

5.根据权利要求4所述的方法，其特征在于，所述将所述三维点云图转化成三维特征张量包括：

将所述三维点云图依次输入到特征学习网络的全连接层、ReLU激活函数和BN层，得到点云特征；

将所述点云特征输入到Element-wise Maxpool层，得到本地聚合Locally Aggregated特征；

将所述本地聚合特征及点云特征通过点云拼接层进行处理得到四维云拼接特征；

对所述四维云拼接特征进行重塑，得到三维特征张量。

6.根据权利要求4所述的方法，其特征在于，通过所述3D-Net网络获得目标三维位置预测框包括：

将所述三维特征张量输入到所述3D-Net网络，并根据所述三维特征张量根据预设参数及预设预测框数量得到待处理特征张量；其中，预设参数包括：预测框的中心、预测框的长、宽、高及其占比、置信度、以及框的旋转角；

根据所述预设参数、预设预测框数量及所述待处理特征张量计算三维位置预测框的坐标；

根据三维位置预测框的对角线的长度，对三维位置预测框进行归一化处理；

通过非极大值抑制法，除去重叠的三维位置预测框，其中，每一个子网格均会生成预设数量的三维位置预测框；

通过最小化预设损失函数对三维位置预测框进行损失计算，利用随机梯度下降算法最小化损失函数的值得到目标三维位置预测框。

7.一种基于3D-YOLO的语义分割系统，其特征在于，包括：

排序单元，用于分别对采集到的RGB图像和深度图像按照拍摄时间分别进行排序，得到RGB图像帧序列及深度图像帧序列；

第一转化单元，用于将RGB图像帧序列及深度图像帧序列转化成三维点云图；

第二转化单元，用于将所述三维点云图作为输入，通过特征学习网络将所述三维点云图转化成三维特征张量；

输入单元，用于将所述三维特征张量输入3D-Net网络；

获取单元，用于通过所述3D-Net网络获得目标三维位置预测框。

8.根据权利要求7所述的系统，其特征在于，所述系统还包括：

选择单元，用于在所述第一转化单元将RGB图像帧序列及深度图像帧序列转化成三维点云图之前，在RGB图像帧序列及深度图像帧序列中，每个预设数量帧选择一帧图像作为关键帧；

保留单元，用于将确定的关键帧序列保留；

丢弃单元，用于将其他帧序列丢弃。