[发明专利]基于融合多视角特征的投影全卷积网络三维模型分割方法

说明书

本发明公开了基于融合多视角特征的投影全卷积网络三维模型分割方法，包括：步骤1，对输入三维网格模型数据集采集数据；步骤2，用融合多视角特征的FCN全卷积网络对模型投影渲染图进行语义分割，得到模型在各个视点方向下投影渲染图的像素被预测为各个标签的概率；步骤3，对模型在各个视点方向下投影渲染图语义分割概率图进行反投并采用最大视角池化，得到模型面片被预测为各个标签的概率；步骤4，采用Graph Cut图割算法进行优化，得到模型面片的最终预测标签。

技术领域

本发明属于计算机图像处理和计算机图形学领域，尤其涉及基于融合多视角特征的投影全卷积网络三维模型分割方法。

背景技术

近些年，随着越来越多的3D建模软件的出现，以及深度传感器，如Kinect等，被广泛应用于采集深度数据的平台上，三维模型数据在互联网上出现了爆炸式增长，3D模型也出现了大量的表现形式，如点云、体素、面片等。这种趋势使得3D模型的分析成为了热点的研究领域。目前，图像分析领域的研究已经取得了丰硕的成果，深度学习框架的引入更是进一步提升了效果。然而，2D图像上的卷积操作无法直接应用于3D模型上，使得将深度学习的方法应用于3D模型的分析变得困难重重。因此，大量的3D模型分析方法依赖于手调的描述子提取特征。尽管最近出现了将3D模型数据组织成中间表示形式，如树、图等数据结构，使得卷积操作变得可行，然而这种结构很难完整地保持原有的面片或点之间的邻接关系。此外，这些方法对模型水密性、对齐等的要求则进一步制约了方法的普适性。

虽然3D模型的语义分割问题很基础，但是它却十分有挑战性，有以下几点原因：

1、属于同一部件的各种模棱两可的模型部分必须被正确的标注为同一语义标签；

2、准确地探测模型部件的边缘经常需要更细微的几何信息；

3、局部和全局特征必须被结合起来分析才能实现更好的分割结果；

4、分析方法必须对噪声、降采样以及同类模型的多样性具有鲁棒性。

近些年，3D模型的语义分割领域蓬勃发展，出现了无监督的传统方法和有监督的数据驱动的方法两大类别。