[发明专利]一种基于多视角双注意网络的三维物体识别方法

说明书

本发明提供了一种基于多视角双注意网络的三维物体识别方法，包括以下步骤：步骤1，将原始三维物体从n个视角投影到二维平面渲染得到n个视图，将n个视图分别经过基础CNN模型进行特征提取对应得到n个视觉特征；步骤2，将n个视觉特征输入视图空间注意力模块进行处理后得到视觉空间描述符；步骤3，将n个视觉特征输入视图通道注意力模块进行处理后得到视觉通道描述符；步骤4，将视觉空间描述符和视觉通道描述符进行联合得到三维形状描述符，将该三维形状描述符输入到全连接网络中完成物体识别，得到原始三维物体的预测识别分类结果。

技术领域

本发明涉及一种三维物体识别方法，具体涉及一种基于多视角双注意网络的三维物体识别方法。

背景技术

近几年来随着三维成像传感器和三维重建技术的发展，人们可以从生活中便捷地捕获大量的三维物体结构信息。三维对象的识别已经成为计算机视觉和人工智能领域中最基本的问题之一。随着大规模三维数据库和深度学习的快速发展，已经提出了各种方法用于三维物体识别。三维物体识别研究根据方法不同主要分为二大类：早期的传统方法和近期深度学习的方法。早期三维物体识别一般采用人工设计的三维数据描述特征和机器学习的方法分类识别。近期基于深度学习的三维物体识别可分为：基于体素的方法，基于点云的方法和基于多视图的方法。

基于体素的代表方法是是美国卡内基梅隆大学Maturana等人提出的VoxNet，引入了一个称为VoxNet的体积占用网络来实现鲁棒性的三维目标识别。基于体素的方法体素形式的数据精度依赖于其分辨率，高分辨率所带来的庞大计算量限制了其发展。

基于点云的方法代表作是是美国斯坦福大学Charles Qi等人提出的PointNet和PointNet++。对于三维物体识别问题，这种直接使用无序点云进行卷积神经网络处理的方法一直是三维对象分类和分割的追求。但是它突出的问题是缺乏足够的高质量训练数据。尽管有许多相关数据集，这些仍然不能与像ImageNet这样的二维图像数据集的大小相比。另一个关键挑战是点云数据的无序性和非均匀性，这些特性意味着直接应用空间卷积非常具有挑战性。

基于视图的方法从多个角度渲染，得到三维对象不同角度拍摄的视图。其代表方法美国马萨诸塞大学阿默斯特Su等人提出MVCNN。此类基于多视角的三维物体识别能够运用海量的数据集如ImageNet 进行预训练，直接在二维卷积神经网络上应用渲染后的二维视角图像，实现93％以上的正确类别级别识别性能。但相比与传统二维图像分类，基于多视图的三维物体识别分类精度还有较大提升空间，有待于进一步深入研究。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种基于多视角双注意网络的三维物体识别方法。

本发明提供了一种基于多视角双注意网络的三维物体识别方法，具有这样的特征，包括以下步骤：步骤1，将原始三维物体从n个视角投影到二维平面渲染得到n个视图，将n个视图分别经过基础CNN 模型进行特征提取对应得到n个视觉特征；步骤2，将n个视觉特征输入视图空间注意力模块进行处理后得到视觉空间描述符；步骤3，将n个视觉特征输入视图通道注意力模块进行处理后得到视觉通道描述符；步骤4，将视觉空间描述符和视觉通道描述符进行联合得到三维形状描述符，将该三维形状描述符输入到全连接网络中完成物体识别，得到原始三维物体的预测识别分类结果。

在本发明提供的基于多视角双注意网络的三维物体识别方法中，还可以具有这样的特征：其中，步骤1包括以下子步骤：