[发明专利]一种基于多视角信息融合的机器人三维形状识别方法

说明书

本发明提出一种基于多视角信息融合的机器人三维形状识别方法，综合全视角和单视角两种方法的优点，同时又克服了全视角和单视角两种方法的缺点。通过机器人在运动中获取的三维形状的多视角信息，首先利用图像相似性检测技术对图像进行相似性排序，进而通过卷积神经网络获得阶层式深度特征，最后利用长短期记忆模型对上述有一定时间和空间序列的视觉特征进行学习得到高度抽象的时空特征。本发明不仅模拟人类的阶层式学习机制，更创新性的加入了模拟人类学习的时空序列的学习机制，进而实现了多视角信息融合对三维形状的高精度分类和识别。

技术领域

本发明涉及机器人技术领域和计算机视觉领域，具体地说是利用机器人的视觉传感器得到的多视角视觉信息，用基于阶层式深度学习网络、时空序列深度学习网络和图像相似性检测排序技术实现机器人对三维形状的识别和分类。

背景技术

三维形状识别一直以来都是机器人领域和计算机视觉领域的热点。快速高效的识别三维形状对于现实生活具有重要意义，例如机器人或无人飞行器通过三维形状匹配在数据库中快速地检索并识别物体，用来寻找并确定目标或者用来躲避障碍物，提高其自身的智能程度；公共安全等领域利用三维匹配技术来查询二维或三维人脸库、三维头颅库等匹配相关信息，能够大大降低恐怖袭击和刑事犯罪对社会的危害；工业现场可以根据图像或图形匹配自动判定控制信息、故障类型等；在生物医学方面，由CT、MRI、PET等断层成像设备产生了大量的三维数据，准确快速地查找并处理这些信息，对于提高诊断的准确率并提高我国医疗健康水平，缓解人口老龄化带来的压力至关重要。

目前对机器人三维形状的识别主要分为两种思路：1)以三维形状的全角度视觉信息为基础，通过深度学习技术，得到对三维形状的识别；2)以三维形状的单视角信息为基础，通过深度学习技术，得到对三维形状的识别。Su等人提出了一种“multi-view CNN”(MVCNN)模型来进行三维形状的识别任务，具体来说就是利用从包围三维形状的相机组合得到比较全面的三维形状的全视角视觉信息，然后利用阶层式深度学习网络(卷积神经网络CNN)得到对三维形状的高精度的识别和分类。Joseph Redmon等人提出了“Yolo”模型，作者结合卷积神经网络(CNN)深度学习网络，利用从摄像头得到的单视角信息，得到对现实物体的检测、分类和识别。虽然上述两种思路都取得了不错的效果，全角度视觉信息能够得到很高的分类和识别精度，但比较耗费时间，单视角视觉信息虽然计算速度得到显著提升，可是由于其视觉信息的输入相对比较稀疏，因此分类和识别精度相对较低。

考虑到实际运动中的机器人对三维形状的识别任务中，全视角视觉信息和单视角视觉信息都是比较极端的两种情况。对于一个现实中的三维形状，机器人不可能进行全视角观测，由于各种各样的条件限制，得到三维形状物体的全视角信息非常困难。但是从理论上说，得到的视觉信息越丰富，对三维形状的识别和分类任务的效果就越好。然而，现实中不可能得到大量、丰富的三维形状视觉信息，有时候甚至得到只有几个视觉角度的视觉信息，因此这是全视角视觉信息在实际机器人对三维形状识别、分类的局限。同时,运动中的机器人又可以得到几个不同视角的视觉信息，可以弥补单视角的情况下信息不足的缺点，可以极大的提高三维形状的识别和分类精度。

综上所述，针对机器人的三维形状识别方法中，全视角虽然能得到比较高的识别和分类精度，但是其在实际运用中存在比较大的局限性，机器人不太可能得到三维形状的全视角视觉信息，往往只能根据部分视角的视觉信息进行识别任务。另外，虽然单视角虽然计算速度很快，但是毕竟只有一个视角的视觉信息，信息量很不充分，导致分类和识别精度不高，不能满足实际需要。

发明内容

近年来，随着计算机技术、数字图像处理技术及图像处理硬件的进一步发展，计算机视觉在机器人领域中开始得到广泛关注。相比其他方法，基于计算机视觉的方法能够在同等条件下获取环境中的更大量的信息，同时还具备了精度高、不受电子干扰等优点。同时，随着深度学习技术的深入发展，更加高效、更加具有模拟人类学习机制的神经网络的不断涌现，人工智能取得长足发展。这些技术为机器人能够通过多视角的视觉信息精确识别和分类三维形状打下了良好的基础。