[发明专利]基于块卷积神经网络的多视图三维模型检索方法

说明书

一种基于块卷积神经网络的多视图三维模型检索方法，通过针对多视图图像，使用块卷积层在视图特征的提取过程中挖掘视图之间的内在联系。根据每个视图特征与最大视图池化后的特征之间的余弦相似度来给每个视图分配不同的权重，利用了视图特征之间区分性，得到更有区分性的模型特征。在生成损失函数时不仅考虑了模型特征还考虑了视图特征，可以更好约束网络进行学习。该基于块卷积神经网络的多视图三维模型检索方法在相关的三维模型检索数据集中达到了优良的性能。

技术领域

本发明涉及三维视觉领域，具体涉及一种基于块卷积神经网络的多视图三维模型检索方法。

背景技术

随着三维表示技术和计算机硬件性能的发展，三维视觉越来越受到研究人员的关注。相比于传统的二维图像，三维视觉是对现实世界更逼真的描述，包含着三维物体的空间结构信息以及立体几何和轮廓曲线的特性。三维模型检索是三维视觉领域的一个研究热点。相关的研究方法可以分为两个阶段(1)基于传统方法的三维模型检索方法，(2)基于深度学习的三维模型检索方法。

基于传统方法的三维模型检索方法是从三维模型的信息，如几何矩，表面分布，体积描述符和表面几何形状产生特征描述符，然后使用欧式距离来进行特征之间相似度的度量。然而，在实际的应用中使用传统方法对三维模型进行渲染和特征提取不仅计算量大而且效果并不理想。这些困难限制了相关传统方法的发展。在基于深度学习的三维模型检索方法中，包含基于模型的检索算法以及基于多视图的检索算法。基于模型的检索算法是直接在三维模型上使用深度神经网络提取特征，根据模型的不同表示，还可以分为基于体素的方法、基于网格的方法和基于点云的方法。由于深度学习已经在二维图像的相关任务上取得了重大的发展，因此基于多视图的三维模型算法被提出。通过设置多个角度的相机来拍摄三维模型在各个角度下的图像，用这些不同角度的二维图像来表示该三维模型。借助于深度神经网络如AlexNet、VGG、GoogleNet、ResNet等处理二维图像的强大性能，提取每个视图的特征，并对所有视图特征进行融合得到最后的模型特征。在检索匹配时，使用欧式距离来进行特征之间相似度的度量。

在基于多视图的三维模型检索方法中，每个三维模型是由多视图共同表示的。现有的方法都是分别提取完每个视图的特征，然后在视图特征上挖掘相互之间的关系。在视图特征提取的过程，视图之间的关系并没有被考虑在内。如何在视图特征的提取过程中挖掘视图之间的关系成为提高检索算法性能的关键。

发明内容

本发明为了克服以上技术的不足，提供了一种基于块卷积神经网络的多视图三维模型检索方法，可以根据每个视图的块特征和块坐标实现了多视图之间的关系挖掘，并通过自适应视图权重层分配视图不同的权重来挖掘视图之间的区分性信息，在训练中利用区分性损失函数约束网络提取出更具区分性的模型特征。

本发明克服其技术问题所采用的技术方案是：

一种基于块卷积神经网络的多视图三维模型检索方法，包括：

a)渲染三维模型得到三维模型的N个二维视图；

b)将每个二维视图输入卷积神经网络，每个二维视图得到M个特征块，每个特征块的特征维度为P维；