[发明专利]基于视图语义信息和序列上下文信息的多视目标识别方法

说明书

本发明公开了一种基于视图语义信息和序列上下文信息的多视目标识别方法，包括：利用虚拟相机对三维模型数据库中的三维模型进行虚拟拍照，生成三维模型的视图序列；使用神经网络提取视图序列中的每个视图特征，生成视图特征序列；学习视图特征序列中每个视图特征的语义信息，增强视图特征中有用的语义信息、遏制干扰信息；利用3D CNN学习增强后的视图特征序列中相邻视图特征之间的关联性，挖掘视图特征序列的上下文信息；最终通过全局平均池化将视图特征序列融合成一个紧致的特征描述符，利用特征描述符进行多视目标识别。本发明利用视图的语义信息对视图特征进行增强，提高了多视目标识别的精度。

技术领域

本发明涉及视图序列，以及多视目标识别领域，尤其涉及一种基于视图语义信息和序列上下文信息的多视目标识别方法。

背景技术

近年来，随着三维技术在虚拟现实、三维打印、医学诊断等领域的广泛应用^[1]，三维物体的数量迅速增长，使得多视目标识别方法受到了极大的关注。同时，大量的工作致力于构造有区别的描述符^[2]。现有的方法^[3]通常通过在三维物体周围放置虚拟摄像机获得其的多个视图，然后通过神经网络提取每个视图的特征，最后将这些视图特征融合到一个紧凑的特征描述符中。在此基础也衍生出一些知名数据库如ModelNet40^[4]，有很多研究者在这个上面进行相关的研究。

现有的方法，关注的地方主要在视图序列特征融合的部分，这一部分研究者们提出了很多方法，比如MVCNN^[5]，GVCNN^[6]等方法。这类的方法，大都会采取最大池化策略去进行视图序列特征的融合，但是这样的操作会导致融合特征中仅保存每个视图特征的最大值，对于视图中细微的变化很难去捕捉到，无法很好的学习到视图的上下文信息。

虽然已经有人在多视目标识别领域做了很多工作，但是对于视图序列的上下信息研究上还有一些欠缺，并且研究者把更多的精力放在视图特征融合上面，对于视图的自身语义信息很少关注。基于此现状，目前面临的挑战主要有以下两个方面：

1、如何学习视图的语义信息；

2、如何挖掘视图序列的上下文信息。

发明内容

本发明提供了一种基于视图语义信息和序列上下文信息的多视目标识别方法，受到3D CNN在视频处理领域成功应用的启发，本发明在序列上下文信息的挖掘部分引入3DCNN设计新的网络结构解决了现有方法在序列上下文研究上，结构简单粗糙或计算量大等缺陷，并在此基础上增加了对于视图本身的关注，利用视图的语义信息对视图特征进行增强，提高了多视目标识别的精度，详见下文描述：

一种基于视图语义信息和序列上下文信息的多视目标识别方法，所述方法包括：

利用虚拟相机对三维模型数据库中的三维模型进行虚拟拍照，生成三维模型的视图序列；

使用神经网络提取视图序列中的每个视图特征，生成视图特征序列；

学习视图特征序列中每个视图特征的语义信息，增强视图特征中有用的语义信息、遏制干扰信息；

利用3D CNN学习增强后的视图特征序列中相邻视图特征之间的关联性，挖掘视图特征序列的上下文信息；

最终通过全局平均池化将视图特征序列融合成一个紧致的特征描述符，利用特征描述符进行多视目标识别。

其中，所述学习视图特征序列中每个视图特征的语义信息，增强视图特征中有用的语义信息、遏制干扰信息具体为：

利用视图特征中每个通道包含的全局统计信息代表其语义信息的重要性；

基于全局统计信息获取视图序列中第i个视图特征的第c个特征图的重要性；利用特征图的重要性更新每个特征图