[发明专利]一种基于图卷积网络的网格分割方法

说明书

本发明提供了一种基于图卷积网络的网格分割方法，本发明中使用的方法以网格的面为基本单元，并在基于面的邻接关系形成的对偶图中进行图卷积运算，以获得对于面的特征表示。在特征获取阶段，本发明同时利用了静态与动态的边卷积，在利用实际邻接关系的同时也获得了从面之间潜在联系学习信息的能力。除此之外，本发明还利用了实例分割中特征嵌入的思路对于特征进行了进一步的增强，最终利用增强后的特征对于网格的各部位进行分割。本发明在多个部位分割的数据集上都取得了较好的结果。

技术领域

本发明属于计算机图形学以及计算机视觉领域，尤其涉及一种基于图卷积网络的网格部位分割方法。

背景技术

语义分割是计算机视觉中的关键问题之一，随着深度学习的发展，在二维图像领域利用神经网络进行语义分割得到了广泛的探索与研究。当这一问题扩展到三维网格时，由于它的不规则性，基于图像的操作往往不能直接适用。之前的方法往往将三维模型体素化或是用多视角的二维图像对于三维物体进行表示，然后对于二维图像中的方法进行应用。前者往往因为数据的稀疏性而增大了计算量，后者放弃了三维物体的原有结构，并且计算量仍较大。对于三维的网格数据，我们以面为节点将其转化到对偶空间之中，并基于该图利用图卷积神经网络进行特征的学习。

早期的图卷积神经网络往往需要静态的图结构，而最近的动态图卷积上的研究表明动态的边可以取得更好的效果。我们的方法同时利用了静态边卷积与动态边卷积对于特征进行学习，在利用原本的几何结构的同时也考虑了潜在的相似联系。

在实例分割领域，特征嵌入是一种较为常用的方法，其主要思路为获得一个同类别距离较近而不同类别距离较远的表示，然后利用这一表示获得最终的实例分割。我们的方法也参考了这一思路，并且利用了特征嵌入获得的表示进行最终的部位分割。

发明内容

本发明的提出了一种基于GCN网络的网格分割方法，将网格根据面的邻接关系形成图表示，从而通过图卷积以及特征嵌入实现有效的特征学习。同时在本发明中使用的图卷积同时使用了静态的边卷积与动态的边卷积，同时考虑了原本的几何结构与特征空间中的关系。并且本发明使用特征嵌入的方法，约束了特征在特征空间中的分布。

本发明是通过以下技术方案来实现的：

一种基于图卷积网络的网格分割方法，包括以下步骤：

步骤一：将网格模型变换到指定的面片数量，并进行标准化处理。

步骤二：将步骤一处理后的模型转换为图表示，并对每个面进行初步特征提取后输入到训练好的图卷积神经网络中，对网格中每个面属于的部位种类进行预测。其中，所述图卷积神经网络包括：

变换模块，用于使输入的初步特征的朝向相近。

图卷积模块，用于根据变换后的初步特征学习与实际空间中邻面以及特征空间中邻面有关的特征。

特征嵌入模块，用于根据图卷积模块获得的特征获取同类相近不同类距离较远的特征。

输出模块，用于根据图卷积层学到的特征以及特征嵌入的结果获得预测分割结果。

进一步地，所述步骤一通过以下子步骤来实现：

(1.1)对于输入模型，将其简化或细分到指定面片数量。

(1.2)对于变换后的模型，对其进行平移和缩放操作，使模型中所有顶点的均值为0，离原点的最大距离为1。

进一步地，所述变换模块由一层静态卷积层、一层最大池化层与若干全连接层组成，所述一层静态卷积层、一层最大池化层与若干全连接层用于预测一个旋转矩阵，并通过旋转矩阵对于输入的初步特征进行变换。

进一步地，所述图卷积模块包括静态卷积层、动态卷积层、全连接层和池化层，其中，静态卷积层、动态卷积层各层学到的特征连接并输入到全连接层进行总结并通过池化层得到总体特征。