[发明专利]一种基于噪声数据清理的跨模态三维模型检索方法

说明书

本发明涉及一种基于噪声数据清理的跨模态三维模型检索方法，包括：S1、获取模型数据集并进行预处理；S2、通过深度卷积神经网络对三维模型数据进行分类训练得到第一训练网络，提取得到三维模型特征向量，计算类中心特征向量；S3、通过深度卷积神经网络对草图样本进行回归训练得到第二训练网络，对草图样本进行数据质量评价并清理噪声数据，根据类中心特征向量，通过知识蒸馏方法将草图样本特征迁移到三维模型特征空间进行优化；S4、获取实时草图数据，通过第二训练网络与第一训练网络分别提取特征向量，计算特征向量之间的余弦距离，排序后输出三维模型检索结果。与现有技术相比，本发明具有提高模型训练精度，进而提高模型检索精度等优点。

技术领域

本发明涉及三维模型检索技术领域，尤其是涉及一种基于噪声数据清理的跨模态三维模型检索方法。

背景技术

随着芯片计算能力的快速增长，三维模型在各个行业中的应用越来越广泛。如何快速准确地检索三维模型已成为计算机视觉领域的热门话题。由于触屏设备的普及，与使用文本或三维模型作为检索方法相比，基于草图的3D形状检索更加直观、清晰和方便。

然而，二维图像和三维模型之间的跨模态差异、草图与草图之间的较大的域内差异使其成为一项非常具有挑战性的工作。近年来，基于手工提取特征的传统方法逐渐被使用深度神经网络的方法所超越。具体来说，大多数深度学习方法都遵循MVCNN中的流程，将三维模型投影到多个二维视图中。然后，草图和投影视图的特征向量分别由两个CNN(卷积神经网络)提取，最后将二者的特征向量转移到公共空间以实现特征对齐。然而，这些方法专注于减少跨模态差异，而忽略了草图中的噪声信息。由于绘画技巧因人而异，与三维模型相比，手绘草图之间的类内差异相对较大，类间差异相对较小。那些低质量的草图包含不正确的语义信息，对它们的训练过拟合会损害检索精度。

最近，深度学习方法已被应用于检测噪声数据。具体来说，使用深度卷积神经网络来学习代表重要性等级的权重系数，权重系数从低质量样本到高质量样本逐渐增加。噪声数据的学习被抑制，以防止低质量图像造成的影响。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于噪声数据清理的跨模态三维模型检索方法，通过评价数据质量并清理噪声数据，提高模型训练精度，进而提高模型检索精度。

本发明的目的可以通过以下技术方案来实现：

一种基于噪声数据清理的跨模态三维模型检索方法，通过评价数据质量并清理噪声数据，提高模型训练精度，进而提高模型检索精度，具体包括以下步骤：

S1、获取模型数据集并对模型数据集进行预处理；

S2、通过深度卷积神经网络对模型数据集中的三维模型数据进行分类训练得到第一训练网络，提取得到三维模型特征向量，并计算类中心特征向量；

S3、通过深度卷积神经网络对模型数据集中的草图样本进行回归训练得到第二训练网络，第二训练网络对草图样本进行数据质量评价并清理噪声数据，根据类中心特征向量，通过知识蒸馏方法将清理后得到的草图样本特征迁移到第一训练网络的三维模型特征空间进行优化；

S4、获取需要检索的实时草图数据，通过第二训练网络与优化后的第一训练网络分别提取实时草图数据与三维模型的特征向量，并计算特征向量之间的余弦距离，排序后输出实时草图数据对应的三维模型检索结果。

所述步骤S1中模型数据集具体为SHREC2013数据集和SHREC2014数据集。

所述步骤S1中模型数据集的预处理过程包括通过虚拟摄像机对模型数据集中的三维模型进行投影，得到多个角度的投影视图。

进一步地，所述第一训练网络的训练过程具体为将模型训练集中每个三维模型的投影视图分别输入卷积神经网络，经过池化层特征融合后得到特征向量，利用反向传播算法对网络进行训练，得到第一训练网络。