[发明专利]三维对象检测方法、装置、电子设备及存储介质

说明书

本申请公开了一种三维对象检测方法、装置、电子设备及存储介质，其中，方法包括：获取未知类别的目标三维对象的点云数据；根据点云数据提取目标三维对象的点云视觉特征；将点云视觉特征输入至预先训练的三维对象检测模型，得到目标三维对象的检测结果，其中，三维对象检测模型由已知类的视觉标签和词向量三元组损失训练得到。由此，解决了相关技术中对于未知类型的三维对象，由于样本受限，难以对三维对象进行精确检测，泛用性较差的技术问题。

技术领域

本申请涉及计算机视觉及零样本学习技术领域，特别涉及一种三维对象检测方法、装置、电子设备及存储介质。

背景技术

尽管当前的三维传感器技术已经在快速发展，但三维对象检测技术仍然饱受样本受限的困扰，不同于二维图像数据，三维点云数据的标注成本极高，相较于规则排列的像素矩阵，在无序且稀疏的三维点云数据上进行标注更加耗时且容易出错，且三维点云数据集标注所需的人力代价极大，因此，三维对象检测技术的训练过程通常存在样本受限的问题。

在三维对象检测技术应用时，样本受限问题常表现为某些稀缺类别的视觉标注较少甚至缺失。相关技术为减轻计算机视觉任务中的样本依赖，进行了多种方向的努力，包括：降低标注详细程度的弱监督视觉技术、仅利用少量样本完成训练过程的小样本视觉技术和利用类间联系帮助模型建立未知类别认知能力的零样本视觉技术等等。

然而，相关技术中，在样本受限的前提下，对样本的条件要求较为苛刻，且只能针对二维图像完成样本受限条件下的二维对象检测任务，不利于自动驾驶等需要三维点云数据的实际场景应用，有待改善。

发明内容

本申请提供一种三维对象检测方法、装置、电子设备及存储介质，以解决相关技术中由于样本受限，难以对三维对象进行精确检测，泛用性较差的技术问题。

本申请第一方面实施例提供一种三维对象检测方法，包括以下步骤：获取未知类别的目标三维对象的点云数据；根据所述点云数据提取所述目标三维对象的点云视觉特征；以及将所述点云视觉特征输入至预先训练的三维对象检测模型，得到所述目标三维对象的检测结果，其中，所述三维对象检测模型由已知类的视觉标签和词向量三元组损失训练得到。

可选地，在本申请的一个实施例中，在将所述点云视觉特征输入至所述预先训练的三维对象检测模型之前，还包括：利用预设的所述已知类的视觉标签和词向量三元组损失训练初始三维对象检测模型；截取已知类别的点云视觉特征，并利用所述初始三维对象检测模型中的点云编码器，对所述已知类别的点云视觉特征依次进行特征编码，得到至少一组已知类别的视觉特征，截取与点云对象分类相关的部分视觉特征；利用所述部分视觉特征训练点云视觉特征生成网络。

可选地，在本申请的一个实施例中，在利用所述部分视觉特征训练所述点云视觉特征生成网络之前，还包括：利用未知类别的单例视觉标注构建多个虚拟训练数据样例，以线性插值得到的虚拟词向量和虚拟视觉特征进行网络训练。

可选地，在本申请的一个实施例中，在将所述点云视觉特征输入至所述预先训练的三维对象检测模型之前，还包括：利用所述点云视觉特征生成网络以未知类别的词向量和随机生成的隐变量为输入，合成至少一个未知类别视觉特征；利用所述至少一个未知类别视觉特征微调点云分类器，以对三维对象检测模型中的点云分类器进行微调，得到新的权重；基于所述新的权重得到所述预先训练的三维对象检测模型。

可选地，在本申请的一个实施例中，所述利用预设的所述已知类的视觉标签和词向量三元组损失训练初始三维对象检测模型，包括：抽取预设视觉特征和预测的语义类别，构建三元组；基于所述三元组，利用所述预设的已知类的视觉标签和词向量三元组损失训练初始三维对象检测模型。

可选地，在本申请的一个实施例中，所述利用所述部分视觉特征训练点云视觉特征生成网络，包括：利用预设有条件的瓦瑟斯坦生成对抗网络结构建词向量特征空间和点云视觉特征空间的潜在联系，得到伪视觉特征；评估所述伪视觉特征，并根据所述评估结果和所述部分视觉特征，得到所述点云视觉特征生成网络。