[发明专利]一种基于多视角信息融合的机器人三维形状识别方法

摘要

本发明提出一种基于多视角信息融合的机器人三维形状识别方法，综合全视角和单视角两种方法的优点，同时又克服了全视角和单视角两种方法的缺点。通过机器人在运动中获取的三维形状的多视角信息，首先利用图像相似性检测技术对图像进行相似性排序，进而通过卷积神经网络获得阶层式深度特征，最后利用长短期记忆模型对上述有一定时间和空间序列的视觉特征进行学习得到高度抽象的时空特征。本发明不仅模拟人类的阶层式学习机制，更创新性的加入了模拟人类学习的时空序列的学习机制，进而实现了多视角信息融合对三维形状的高精度分类和识别。

主权项

一种基于多视角信息融合的机器人三维形状识别方法，其特征在于：包括以下步骤：步骤1：机器人通过视觉信息采集设备，得到不同三维形状的多视角信息，每个三维形状的多视角信息包括n幅不同视角的二维灰度图像；步骤2：对每个三维形状的n幅不同视角的二维灰度图像采用以下过程进行相似性排序：任意指定n幅不同视角的二维灰度图像中的一幅灰度图像作为图像1，以灰度图像的像素作为计算单元，利用相似性方程得到图像1相对除图像1外所有灰度图像图像的相似度，得到相似度最高的灰度图像作为图像2；再利用相似性方程得到图像2相对除图像1和图像2外所有图像的相似度，得到相似度最高的灰度图像作为图像3，以此类推，得到从图像1到图像n组成的相似性序列灰度图像组；步骤3：建立卷积神经网络模型并利用每个三维形状的n幅不同视角的二维灰度图像进行阶层式深度学习；将每个三维形状的相似性序列灰度图像组中的n幅图像输入学习好的卷积神经网络模型，得到每幅图像的抽象特征，组成对应该三维形状的视觉特征组；步骤4：建立长短期记忆网络模型并利用每个三维形状的视觉特征组进行时空序列深度学习；将每个三维形状的视觉特征组输入学习好的长短期记忆网络模型，得到每个三维形状的三维形状特征；步骤5：机器人通过视觉信息采集设备得到待识别三维形状的多视角信息；对待识别三维形状的多视角信息进行相似性排序，得到待识别三维形状的相似性序列灰度图像组；将待识别三维形状的相似性序列灰度图像组中的图像分别输入学习好的卷积神经网络模型，得到每幅图像的抽象特征，组成对应待识别三维形状的视觉特征组；将待识别三维形状的视觉特征组输入学习好的长短期记忆网络模型，得到待识别三维形状的三维形状特征，并依据待识别三维形状的三维形状特征进行识别。