[发明专利]一种基于图卷积神经网络的三维点云自动分类方法

说明书

一种基于图卷积神经网络的三维点云分类方法，用于服务型机器人抓取三维物体过程中对复杂的物体实现自动分类识别，便于根据类别信息确定抓取位置进行抓取。属于计算机视觉的三维感知和机器人导航技术领域。包括以下步骤：(1)对三维点云进行预处理；(2)构建点云分类网络；(3)训练所构建的网络；(4)利用训练完成的网络进行分类测试。本发明的优点在于：(1)采用图卷积神经网络进行局部特征学习，增强网络对局部拓扑结构信息的学习能力；(2)对输入的点云进行全局特征学习，增强网络对上下文语义的理解。将局部特征和全局特征相聚合，再利用全连接层输出每个点云的分类得分，相较于现有网络具有更高的分类精度。

技术领域

本发明中设计基于图卷积神经网络的三维点云自动分类方法，通过构造基于图卷积的深度学习网络，在服务型机器人抓取三维物体过程中对复杂的物体实现自动分类识别，便于根据类别信息确定抓取位置进行抓取。本发明涉及计算机视觉的三维感知和机器人导航技术领域，尤其涉及三维点云的自动分类识别的方法。

背景技术

随着计算机视觉和人工智能等理论的发展，三维点云在汽车自动驾驶、机器人感知和导航以及虚拟/增强现实等领域中被广泛应用并发挥着重要作用。尤其是在机器人感知领域，机器人如果通过对自带的三维传感器扫描得到的室内三维点云数据进行深度学习训练能检测出物体并得到不同物体的分类类别，不仅有助于机器人选取合适的导航策略躲避障碍物，而且有助于服务型机器人在用户的指令下正确识别并取/送用户需要的物体，从而大大改善行动不便的老年人以及残障人士的生活质量。然而，由于点云具有数据量大、形状不规则、密度不均匀等特点，三维点云的自动分类一直是一个极具挑战性的难题。

由于三维点云的不规则和无序性，传统的卷积神经网络难以直接处理，所以早期基于深度学习的研究工作是将三维点云处理为适用于标准空间卷积的形式，如常规的体素网格或多视图。然而，数据格式转换通常会造成信息丢失，最终导致3D分类性能的下降。此外，采用体素网格或多视图的方法会产生昂贵的计算开销，大大增加了算法的空间复杂度和时间复杂度，因此这类方法不太适合大数据量、大场景点云数据的自动分类。直到2017年，Qi等提出了直接在非结构化的原始点云上进行分类的点云神经网络PointNet(Qi,C.R.；Su,H.；Mo,K.；Guibas,L.J.Pointnet:Deep Learning on Point Sets for 3DClassification and Segmentation.In Proceedings of IEEE Conference on ComputerVision and Pattern Recognition,2017,134(1):77-85.)。它的基本思想是通过共享的多层感知(Multi-Layer-Perception，简记为MLP)网络学习每个点的特征，然后将所有单独点的特征聚合为全局点云表示，同时采用对称函数(例如最大池化)保证点云顺序的置换不变，最后将聚合后的特征通过全连接层输出一个一维矩阵，矩阵的每一分量对应为点云分类为该类别的分类得分，取具有最高得分的类别作为输入点云的类别。然而，该网络忽视了点与点之间的几何关系，因此不能获取由相邻点构成的局部细粒度特征信息，分类正确率仍有待提高。

本发明提出一种在捕捉局部细粒度特征信息的同时兼顾上下文语义的端到端的图神经网络用于点云的自动分类任务，帮助服务型机器人在抓取物体过程中正确识别物体类别以及躲避障碍物。利用图卷积可以保持点云置换不变性的特性，构造图卷积神经网络捕获点云的局部细粒度特征，从而弥补了现有方法在局部点云特征提取上的不足。通过对数据采集、数据预处理、局部特征提取以及全局特征提取等模块的开发集成，提出了一种基于图卷积神经网络的三维点云分类方法，通过增强网络对局部区域细粒度特征的提取能力提高了分类的正确率。

发明内容