[发明专利]用于2D卷积神经网络的点云数据转换方法和系统

权利要求书

1.一种方法，其特征在于，包括：

接收点云形式的3D数据集；

将所述3D数据集编码为一个或多个阵列的集合，针对所述3D数据的每个数据点：

通过将所述数据点的3D坐标投影到由已定义虚拟摄像头参数集定义的2D图像平面上，计算所述一个或多个阵列的2D索引，其中所述虚拟摄像头参数集包括定义所述2D图像平面的摄像头投影矩阵；

根据所述计算得到的2D索引，将所述数据点的每个3D坐标存储在所述一个或多个阵列中；

输出所述一个或多个阵列的集合，用于输入到2D卷积神经网络(convolved neuralnetwork，CNN)中进行训练或推理。

2.根据权利要求1所述的方法，其特征在于，还包括：

根据预定义的一个或多个参数对所述3D数据进行调整，生成调整后的3D数据集，其中

所述调整为以下至少一项：对所述3D坐标进行缩放、移位、归一化或量化；

所述一个或多个阵列的集合由所述调整后的3D数据生成。

3.根据权利要求1或2所述的方法，其特征在于，所述一个或多个阵列的集合包括经调整可识别为图像数据的值。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述虚拟摄像头参数包括感兴趣区域(region of interest，ROI)的定义，所述方法还包括：

定义对应于所述ROI的所述3D数据的子集；

将所述3D数据的子集编码为所述一个或多个阵列的集合。

5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：通过扩张填充所述一个或多个阵列的集合中的任何空洞。

6.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：

使用定义第二2D图像平面的第二虚拟摄像头参数集，将所述3D数据编码为一个或多个阵列的第二集合。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述虚拟摄像头参数集对应于光学摄像头的参数。

8.根据权利要求7所述的方法，其特征在于，还包括：

将所述一个或多个阵列的集合与所述光学摄像头获得的2D图像数据集相组合，以生成组合数据集；

将所述组合数据集作为所述2D CNN的输入来进行对象检测；

输出2D对象限界框集和2D对象掩码集。

9.根据权利要求8所述的方法，其特征在于，所述组合包括：

在所述一个或多个阵列的集合和所述2D图像数据集之间进行空间配准；

将所述一个或多个阵列的集合与所述2D图像数据集进行级联。

10.一种方法，其特征在于，包括：

接收点云形式的3D数据集；

将所述3D数据集编码为一个或多个阵列的集合，针对所述3D数据的每个数据点：

通过将所述数据点的3D坐标投影到由已定义虚拟摄像头参数集定义的2D图像平面上，计算所述一个或多个阵列的2D索引，其中所述虚拟摄像头参数集包括定义所述2D图像平面的摄像头投影矩阵；

根据所述计算得到的2D索引，将所述数据点的每个3D坐标存储在所述一个或多个阵列中；

将所述一个或多个阵列的集合作为2D卷积神经网络(convolutional neuralnetwork，CNN)的输入来进行对象检测，其中所述2D CNN用于输出检测对象集；

将所述检测对象集作为2D分段和回归单元的输入来进行对象分类、回归和分段，其中所述2D分段和回归单元用于为所述检测对象集添加感兴趣类别标签，并针对所述检测对象集输出2D对象限界框集和2D对象掩码集。