[发明专利]基于融合多视角特征的投影全卷积网络三维模型分割方法

权利要求书

1.基于融合多视角特征的投影全卷积网络三维模型分割方法，其特征在于，包括以下步骤：

步骤1，对输入的三维网格模型数据集采集数据；

步骤2，用融合多视角特征的全卷积网络FCN对三维网格模型投影渲染图进行语义分割，得到三维网格模型在各个视点方向下投影渲染图语义分割概率图；

步骤3，对三维网格模型在各个视点方向下投影渲染图语义分割概率图进行反投并采用最大视角池化，得到三维网格模型面片被预测为各个标签的概率；

步骤4，采用Graph Cut图割算法进行优化，得到三维网格模型面片的最终预测标签；

步骤1包括如下步骤：

步骤1-1，假设输入单个三维网格模型s以及所有面片所属部件的标签集l，从42个固定视点中选择14个视点，使得三维网格模型s的面片覆盖率最大；

步骤1-2，在Lambert光照模型下采集步骤1-1获得的14个视点方向下模型s的投影渲染图集P＝{p₁,p₂,…p_i,…,p₁₄}，其中p_i指在第i个视点方向下对模型s采集到的投影渲染图；

步骤1-3，采集14个视点方向下三维网格模型s的面片标签着色图G＝{g₁,g₂,…g_i,…,g₁₄}，其中g_i指在第i个视点方向下对模型s采集到的面片真实标签着色图，模型的不同部分对应不同的标签，面片的标签相同表示这些面片属于模型的一个部件，将该模型标签集l中的每一种标签映射为一种特定的颜色，从而对模型s进行着色渲染；

步骤1-4，采集三维网格模型s的面片号与其在14个视点下被投影到图像中像素的位置之间的映射关系，为三维网格模型s建立一张映射关系索引表。

2.根据权利要求1所述的方法，其特征在于，步骤1-1包括如下步骤：

步骤1-1-1，对三维网格模型s，其面片集合为F，分别计算42个视点能够看到的面片集合，选择能够看到F中的面片数最多的视点v加入到视点集合V中，同时将视点v能够看到的所有面片号加入到能被V中视点看到的面片集合M中，将能从v视点方向看到的面片集合从F中剔除；

步骤1-1-2，计算除了视点集合V之外的每一个视点能够看到的面片集合，选择能够看到F中的面片数最多的视点μ加入到视点集合V中，同时将视点μ能够看到的所有面片号加入到M中，将能从v视点方向看到的面片集合从F中剔除；

步骤1-1-3，重复步骤1-1-2，直至V中的视点数为14时结束。

3.根据权利要求2所述的方法，其特征在于，步骤1-4中，所述索引表t中按照三维网格模型s文件中的面片号顺序记录映射关系，包括每个面片号分别能被多少个视点看到以及对应的视点编号，每个能见视点下该面片被投影到多少个像素上以及这些像素在图片中的横坐标和纵坐标，索引表t中的这些数据将用于后续的反投过程。