[发明专利]一种基于噪声数据清理的跨模态三维模型检索方法

权利要求书

1.一种基于噪声数据清理的跨模态三维模型检索方法，其特征在于，具体包括以下步骤：

S1、获取模型数据集并对模型数据集进行预处理；

S2、通过深度卷积神经网络对模型数据集中的三维模型数据进行分类训练得到第一训练网络，提取得到三维模型特征向量，并计算类中心特征向量；

S3、通过深度卷积神经网络对模型数据集中的草图样本进行回归训练得到第二训练网络，第二训练网络对草图样本进行数据质量评价并清理噪声数据，根据类中心特征向量，通过知识蒸馏方法将清理后得到的草图样本特征迁移到第一训练网络的三维模型特征空间进行优化；

S4、获取需要检索的实时草图数据，通过第二训练网络与优化后的第一训练网络分别提取实时草图数据与三维模型的特征向量，并计算特征向量之间的余弦距离，排序后输出实时草图数据对应的三维模型检索结果。

2.根据权利要求1所述的一种基于噪声数据清理的跨模态三维模型检索方法，其特征在于，所述步骤S1中模型数据集具体为SHREC2013数据集和SHREC2014数据集。

3.根据权利要求1所述的一种基于噪声数据清理的跨模态三维模型检索方法，其特征在于，所述步骤S1中模型数据集的预处理过程包括通过虚拟摄像机对模型数据集中的三维模型进行投影，得到多个角度的投影视图。

4.根据权利要求3所述的一种基于噪声数据清理的跨模态三维模型检索方法，其特征在于，所述第一训练网络的训练过程具体为将模型训练集中每个三维模型的投影视图分别输入卷积神经网络，经过池化层特征融合后得到特征向量，利用反向传播算法对网络进行训练，得到第一训练网络。

5.根据权利要求1所述的一种基于噪声数据清理的跨模态三维模型检索方法，其特征在于，所述步骤S2中提取三维模型特征向量并计算类中心特征向量的过程具体为固定第一训练网络的参数，将模型数据集输入第一训练网络提取特征向量，并计算每个类别的特征向量中心。

6.根据权利要求1所述的一种基于噪声数据清理的跨模态三维模型检索方法，其特征在于，所述第二训练网络采用端到端训练方式，并设有注意力加权模块、数据清理模块。

7.根据权利要求6所述的一种基于噪声数据清理的跨模态三维模型检索方法，其特征在于，所述步骤S3具体包括以下步骤：

S301、注意力加权模块根据注意力机制对输入的草图样本的样本质量进行评价，对每张草图样本根据图像质量打分得到质量评价得分，并根据质量评价得分设置每个草图样本相应的权重；

S302、根据质量评价得分对草图样本进行分组，得到高质量组与低质量组，对低质量组的草图样本进一步筛选，将其中的噪声样本检出并删除；

S303、对完成筛选的草图样本进行回归训练，将草图样本的特征通过知识蒸馏方法迁移到第一训练网络的三维模型特征空间，实现跨模态特征对齐。

8.根据权利要求7所述的一种基于噪声数据清理的跨模态三维模型检索方法，其特征在于，所述步骤S301中质量评价得分与草图样本的权重为正相关关系。

9.根据权利要求7所述的一种基于噪声数据清理的跨模态三维模型检索方法，其特征在于，所述步骤S303中知识蒸馏方法的条件具体为相同类型的三维模型和草图样本具有相同的语义信息，即具有相同的类中心特征向量。

10.根据权利要求1所述的一种基于噪声数据清理的跨模态三维模型检索方法，其特征在于，所述步骤S4中还包括使用检索指标对检索结果进行分析评价。