[发明专利]一种3D网络模型预训练方法、系统、终端及存储介质

权利要求书

1.一种3D网络模型预训练方法，其特征在于，包括：

将2D自然图像作为连续三个层面图像输入至3D网络模型中，并将2D自然图像标记标签输入至3D网络模型中；

构建3D网络模型的主干网络，在z方向中不做池化或跨步卷积处理；

将3D网络模型的预测结果进行2D转换，输出2D预测结果；

根据所述2D预测结果与标记标签计算不同视觉任务的损失，利用回传损失梯度对所述3D网络模型进行训练，得到3D网络模型预训练模型；

将所述3D网络模型预训练模型的参数对目标3D网络模型进行初始化，使用目标数据集中的图像数据和对应的标注结果对目标3D网络模型进行训练。

2.根据权利要求1所述的3D网络模型预训练方法，其特征在于，所述将2D自然图像作为连续三个层面图像输入至3D网络模型中，并将2D自然图像标记标签输入至3D网络模型中，包括：

获取ImageNet、COOC object detection或Pascal Voc segmentation等大规模训练数据库中的2D自然图像；

将2D自然图像的RGB三个通道作为连续三个层面图像输入至3D网络模型中；

并将2D自然图像标记标签输入至3D网络模型中；

其中，所述标签包括分类、分割、检测或关键点定位，所述标记为标注结果。

3.根据权利要求1所述的3D网络模型预训练方法，其特征在于，所述构建3D网络模型的主干网络，在z方向中不做池化或跨步卷积处理，还包括：

根据具体视觉任务的不同，主干网络选择相应的网络结构：

对于分类任务，使用类似ResNet的网络结构；

对于分割、检测或关键点定位任务，使用FPN或者U-Net的网络结构。

4.根据权利要求1所述的3D网络模型预训练方法，其特征在于，所述将3D网络模型的预测结果进行2D转换，输出2D预测结果，包括：

使用中心层特征图抽取的方式将3D网络模型输出的3D特征图组合成2D特征图。

5.根据权利要求1所述的3D网络模型预训练方法，其特征在于，所述根据所述2D预测结果与标记标签计算不同视觉任务的损失，利用回传损失梯度对所述3D网络模型进行训练，得到3D网络模型预训练模型，包括：

对于分类任务，通过cross-entropy损失函数计算2D预测结果和标注金标准之间的损失；

对于分割任务，计算2D预测结果每个预测像素上的损失；

对于检测任务，利用smooth L1回归损失函数和cross-entropy分类损失函数计算预测出来的包围盒(bounding box)和标注金标准之间的损失；

对于关键点定位任务，利用mse回归损失函数或cross-entropy分类损失函数计算出预测关键点和标注金标准之间的损失；

利用回传损失梯度对所述3D网络模型进行训练，得到3D网络模型预训练模型。

6.一种3D网络模型预训练系统，其特征在于，包括：

模型输入单元，配置用于将2D自然图像作为连续三个层面图像输入至3D网络模型中，并将2D自然图像标记标签输入至3D网络模型中；

模型构建单元，配置用于构建3D网络模型的主干网络，在z方向中不做池化或跨步卷积处理；

模型输出单元，配置用于将3D网络模型的预测结果进行2D转换，输出2D预测结果；

模型训练单元，配置用于根据所述2D预测结果与标记标签计算不同视觉任务的损失，利用回传损失梯度对所述3D网络模型进行训练，得到3D网络模型预训练模型；

预训练单元，配置用于将所述3D网络模型预训练模型的参数对目标3D网络模型进行初始化，使用目标数据集中的图像数据和对应的标注结果对目标3D网络模型进行训练。