[发明专利]基于空间体积特征的三维模型视图投影方法及系统

说明书

本发明公开了基于空间体积特征的三维模型视图投影方法及系统，通过对三角面片的空间体积进行规范化并作为编码特征值，对三维模型进行渲染；设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图；可以使得三维模型生成的二维投影视图保留一定的空间体积特征；空间特征编码蕴含了三维模型的面片大小及空间位置关系，减少了由于视点角度不同而造成的面片大小遮挡和空间位置失真的问题，在一定程度上减少了由于视点角度不同而造成的面片大小遮挡和空间位置失真的问题，因此在相同数量的投影视图的情况下包含了更加丰富的空间信息特征，弥补了视图投影方法的不足之处。

技术领域

本公开涉及计算机视觉与图像处理领域，具体涉及一种基于空间体积特征的三维模型视图投影方法及系统。

背景技术

随着三维物体建模、数字化和可视化技术的进步，对三维形状进行识别并实现分类与检索的技术变得越来越普遍。与二维图像相比，三维图形具有更高的维度，这也使得它具有更为复杂的几何结构和更加冗余的数据量。因此，如何对三维模型进行特征提取和寻找其低维度的描述子就变成了三维识别技术的关键所在。在传统的三维模型表示方法中，比较典型的方法有两种，一种是基于三维模型的原有结构特征，如点云、体素化模型等来提取三维模型的特征描述子。另一种方法则是将三维模型投影为二维视图的方法，包括极视图、多角度视图等。在三维模型的分类与检索技术的应用上，基于视图的方法其准确率一般高于基于模型空间结构特征的方法，其优点在于可以利用现有的较为成熟的二维卷积神经网络来实现对三维模型投影的二维特征视图进行特征提取从而实现三维模型的分类与检索。比较典型的框架有2015年的多视图卷积神经网络(MVCNN)[1]框架，该方法是通过构造平面上的多个视角来进行模型投影，得出多张投影视图，并将其放入多通道的卷积神经网络框架来进行视图特征的提取和融合。很多最新的研究成果都是基于这个基准上进行的，参考文献[2]在其基础上引入视图分组模块，通过不同视图之间的差异性来给出视图融合的权重，替换了原先的取均值池化。参考文献[3][4]在原有基础上分别引入了多元中心损失函数和最优传输距离损失函数来训练不同类别样本间的距离，从而替代原有的分类方法。

其中，现有技术的参考文献如下：

[1]Su H,Maji S,Kalogerakis E,et al.Multi-view Convolutional NeuralNetworks for 3D Shape Recognition[J].2015.

[2]Feng Y,Zhang Z,Zhao X,et al.GVCNN:Group-View Convolutional NeuralNetworks for3D Shape Recognition[C]//2018IEEE/CVF Conference on ComputerVision and Pattern Recognition(CVPR).IEEE,2018.

[3]He X,Zhou Y,Zhou Z,et al.Triplet-Center Loss for Multi-View 3DObject Retrieval[J].2018CVPR.

[4]Xu L,Sun H,Liu Y.Learning with Batch-wise Optimal Transport Lossfor 3D Shape Recognition[J].2019CVPR.

现有技术虽然在视图投影上做了广泛的探索并取得了比较好的效果，然而却无法解决视图投影方法具有的一个根本性的缺点，就是在三维投影到二维的过程中丢失了原有的空间结构信息。目前以MVCNN框架为代表的方法在视图的投影过程都存在丢失空间特征问题，因此需要增加观察视点的个数来产生出更多的视图。然而该方法会导致网络训练样本数据冗余和增大和网络结构的复杂度上升，因此对设备性能有更高的要求，同时也增大了对多个视图提取特征进行融合的难度。