[发明专利]基于块卷积神经网络的多视图三维模型检索方法

权利要求书

1.一种基于块卷积神经网络的多视图三维模型检索方法，其特征在于，包括：

a)渲染三维模型得到三维模型的N个二维视图；

b)将每个二维视图输入卷积神经网络，每个二维视图得到M个特征块，每个特征块的特征维度为P维；

c)将每个特征块在P维的特征空间中根据欧氏距离寻找其k个近邻的块，利用中心块和k个近邻的块共同构建近邻图，每个近邻图包括k+1个顶点和k条无向边，k条无向边分别连接中心块和k个近邻块，采用(p_i,p_j-p_i)表示无向边的边特征，其中p_i为中心块，p_j为第j个近邻块，使用三维坐标(x,y,z)表示块在第z张二维视图的第x行第y列，两个块之间的边特征表示为(p_i,p_j-p_i,c_i,c_j-c_i)，c_i为中心块的三维坐标，c_j为第j个近邻块的三维坐标，边特征的维度为E维，通过公式对块进行卷积操作，得到新的块特征p_i′，式中h为非线性函数，N(i)为第i个样本通过KNN算法获得的邻域样本；

d)将新的块特征p_i′使用平均池化层融合块特征得到每张二维视图的视图特征，对视图特征使用一维卷积提取相邻视图之间的关系，通过最大视图池化得到二维视图的池化后的特征g，通过公式计算池化后的特征g与第j个视图特征f_j之间的余弦相似度s_j(f_j,g)，式中D为特征维度，k为第k个维度，通过公式计算第j个二维视图余弦相似度的权重α_j，式中s_i(f_i,g)为池化后的特征g与第i个视图特征f_i之间的余弦相似度，通过公式f_j′＝α_j×f_j计算加权后的视图特征f_j′，通过公式计算加权后的模型特征g′；

e)根据公式L_Dis＝β×L_model+γ×L_views计算损失函数L_Dis，式中L_model为模型特征g′产生的损失函数值，L_views为视图特征f_j′产生的损失函数值，β为表示L_model权重大小的超参，γ为表示L_views权重大小的超参，式中为第j个二维视图的视图特征产生的损失函数值；

f)对于给定的一个三维模型，在目标数据集中检索得到与该模型最相似的三维模型。

2.根据权利要求1所述的基于块卷积神经网络的多视图三维模型检索方法，其特征在于：步骤a)中的三维模型为计算机生成的三维模型，计算机渲染三维模型得到多个二维视图。

3.根据权利要求1所述的基于块卷积神经网络的多视图三维模型检索方法，其特征在于：步骤a)中的三维模型为现实世界物体，物体周围设置X个不同角度的摄像头来获取物体在不同角度下的二维视图。

4.根据权利要求3所述的基于块卷积神经网络的多视图三维模型检索方法，其特征在于：在物体周围圆周方向上每隔30度设置一个相机，通过设置12个相机得到12张二维视图。

5.根据权利要求1所述的基于块卷积神经网络的多视图三维模型检索方法，其特征在于：步骤b)中每个二维视图经过卷积神经网络后由7×7的块特征表示，每个块特征的特征维度是512。

6.根据权利要求1所述的基于块卷积神经网络的多视图三维模型检索方法，其特征在于：步骤c)中k设置为12，E设置为1024。

7.根据权利要求1所述的基于块卷积神经网络的多视图三维模型检索方法，其特征在于：步骤d)中使用7×7的平均池化层融合块特征，使用卷积核大小为3的一维卷积来提取相邻视图之间的关系。