[发明专利]基于全局特征捕捉聚合的多视角神经网络的三维模型检索方法

说明书

一种基于全局特征捕捉聚合的多视角神经网络的三维模型检索方法，实现了对多视角图像间内在联系的挖掘，同时实现了对多视角图像的有效聚合，得到了拥有紧凑的高区分度的三维模型形状特征描述符,具体包含以下步骤：(1)模型多视图表示,(2)设计网络模型,(3)生成最难样本对,(4)训练网络模型,(5)提取深度特征,(6)进行模型检索;本发明通过使用非局部思想挖掘多视图网络之间的联系，同时通过加权局部聚合层将多视图特征融合，从而得到一个高区分度且紧凑的三维模型描述符。

技术领域

本发明属于计算机视觉及深度学习领域，发明基于全局特征捕捉聚合的多视角神经网络的三维模型检索方法来挖掘代表三维模型的多视角图像之间的内在联系，从而提高了三维模型检索的性能。

背景技术

随着计算机性能的大幅提高，在立体医疗，虚拟现实，三维游戏领域中产生了大量的三维模型，如何识别检索三维模型成为当前计算机视觉领域中一个备受关注的研究方向。在三维模型检索中的模型表示方法可以分为两种类型：1)基于模型的表示方法，如基于网格或体素的离散表示，还有基于点云的表示方法。基于模型表示的特征设计大多是基于模型自身形状以及其几何性质，例如手工设计的三维直方图，由表面曲率及法线构造的特征词袋。2)基于多视角的表示方法，使用不同视角获取的二维图像来表示三维模型。基于二维图像的表示方法也有多种手工设计特征，例如方向梯度直方图，zernike矩和SIFT特征等。

但是传统的手工设计特征在检索性能上并不好，由于其由手工设计，从不同的设计算法得到的特征其侧重的各有不同，不能全面的表示模型特征。随着深度学习技术在计算机视觉领域的广泛应用，如经典的AlexNet和GoogLeNet深度卷积神经网络。数据通过神经网络来自主学习拟合图像特征，相比于手工设计特征，其可以学习到更为全面的特征，从而大幅提高图像识别效果。在基于多视角的三维模型检索中，每个三维模型都有多个视角图像表示，但是现有的深度神经网络主要用来识别单个图像，其识别效果受限于信息的不全面性。如何聚合多视角图像信息，如何捕获模型的空间特征是提高三维模型检索性能的关键。

聚合多视角信息以及捕获模型空间特征不能简单的对多视角图像特征进行直接拼接，这种拼接有多种弊端，一是造成特征维度成倍增高，导致检索时间的增加，二是简单拼接无法有效捕获空间特征，对检索性能的提高不明显。

发明内容

本发明目的是解决当前方法面对多视角特征无法有效聚合，模型空间信息丢失的问题，提供一种基于全局特征捕捉聚合的多视角神经网络的三维模型检索方法。

本发明用于挖掘三维模型的多视图图像间的内在关系，捕获三维模型的空间信息，同时通过对多视角特征融合来提高检索速度。该发明在三维模型检索中得到了具体验证。

本发明提供的基于全局特征捕捉聚合的多视角神经网络三维模型检索方法，该方法步骤如下：

第1、三维模型的多视图表示

本发明是基于三维模型的多视角表示来进行三维模型的检索，在得到三维模型数据之后，通过处理软件设置好视角角度，捕捉三维模型的对应视角角度视图图像。

第2、设计网络模型

根据三维模型检索的特点设计了专属的双链深度神经网络模型，用于训练学习适用于三维模型的特征表示。该双链深度神经网络模型包含了5部分，分别为低维卷积模块，非局部模块，高维卷积模块，加权局部聚合层和分类层。同时还设计了基于中心损失和成对边界损失的融合损失函数来增加不同类别三维模型之间的区分性。

第3、生成最难样本对

使用双链深度神经网络模型需要以样本对的形式作为输入，如果对所有样本都进行配对，那生成的样本对数目将极为庞大。而最难样本对是根据同类样本距离最远，不同类样本距离最近的原则来生成。

第4、训练网络模型