[发明专利]基于视图语义信息和序列上下文信息的多视目标识别方法

权利要求书

1.一种基于视图语义信息和序列上下文信息的多视目标识别方法，其特征在于，所述方法包括：

利用虚拟相机对三维模型数据库中的三维模型进行虚拟拍照，生成三维模型的视图序列；

使用神经网络提取视图序列中的每个视图特征，生成视图特征序列；

学习视图特征序列中每个视图特征的语义信息，增强视图特征中有用的语义信息、遏制干扰信息；

利用3D CNN学习增强后的视图特征序列中相邻视图特征之间的关联性，挖掘视图特征序列的上下文信息；

最终通过全局平均池化将视图特征序列融合成一个紧致的特征描述符，利用特征描述符进行多视目标识别。

2.根据权利要求1所述的一种基于视图语义信息和序列上下文信息的多视目标识别方法，其特征在于，所述学习视图特征序列中每个视图特征的语义信息，增强视图特征中有用的语义信息、遏制干扰信息具体为：

利用视图特征中每个通道包含的全局统计信息代表其语义信息的重要性；

基于全局统计信息获取视图序列中第i个视图特征的第c个特征图的重要性；利用特征图的重要性更新每个特征图

最后，更新视图特征序列中所有视图特征的特征图，得到更新后的特征序列集合，进而实现了对特征有用的语义信息进行增强，无用的语义信息进行遏制。

3.根据权利要求1所述的一种基于视图语义信息和序列上下文信息的多视目标识别方法，其特征在于，所述利用3D CNN学习增强后的视图特征序列中相邻视图特征之间的关联性，挖掘视图特征序列的上下文信息具体为：

上下文学习一共包含两个3D卷积模块，每个模块是由一个卷积层，一个正则化层，一个激活层级联组成的；

第一个卷积层的卷积核尺寸设置为1×1×1，第二个卷积层的卷积核尺寸设置为3×3×3。

4.根据权利要求1所述的一种基于视图语义信息和序列上下文信息的多视目标识别方法，其特征在于，所述全局统计信息具体为：

其中，W_i^c分别代表视图序列中第i个视图特征的第c个特征图的高，宽，代表特征图。

5.根据权利要求2所述的一种基于视图语义信息和序列上下文信息的多视目标识别方法，其特征在于，所述第i个视图特征的第c个特征图的重要性具体为：

其中，σ，δ为激活函数，T₁，T₂代表两个全连接层。