[发明专利]一种基于多视角信息融合的机器人三维形状识别方法

权利要求书

1.一种基于多视角信息融合的机器人三维形状识别方法，其特征在于：包括以下步骤：

步骤1：机器人通过视觉信息采集设备，得到不同三维形状的多视角信息，每个三维形状的多视角信息包括n幅不同视角的二维灰度图像；

步骤2：对每个三维形状的n幅不同视角的二维灰度图像采用以下过程进行相似性排序：

任意指定n幅不同视角的二维灰度图像中的一幅灰度图像作为图像1，以灰度图像的像素作为计算单元，利用相似性方程得到图像1相对除图像1外所有灰度图像的相似度，得到相似度最高的灰度图像作为图像2；再利用相似性方程得到图像2相对除图像1和图像2外所有灰度图像的相似度，得到相似度最高的灰度图像作为图像3，以此类推，得到从图像1到图像n组成的相似性序列灰度图像组；

步骤3：建立卷积神经网络模型并利用每个三维形状的n幅不同视角的二维灰度图像进行阶层式深度学习；将每个三维形状的相似性序列灰度图像组中的n幅图像输入学习好的卷积神经网络模型，得到每幅图像的抽象特征，组成对应该三维形状的视觉特征组；

步骤4：建立长短期记忆网络模型并利用每个三维形状的视觉特征组进行时空序列深度学习；将每个三维形状的视觉特征组输入学习好的长短期记忆网络模型，得到每个三维形状的三维形状特征；

步骤5：机器人通过视觉信息采集设备得到待识别三维形状的多视角信息；对待识别三维形状的多视角信息进行相似性排序，得到待识别三维形状的相似性序列灰度图像组；将待识别三维形状的相似性序列灰度图像组中的图像分别输入学习好的卷积神经网络模型，得到每幅图像的抽象特征，组成对应待识别三维形状的视觉特征组；将待识别三维形状的视觉特征组输入学习好的长短期记忆网络模型，得到待识别三维形状的三维形状特征，并依据待识别三维形状的三维形状特征进行识别。

2.根据权利要求1所述一种基于多视角信息融合的机器人三维形状识别方法，其特征在于：

步骤2中相似性方程为

其中S_ij为第i张图像和第j张图像的相似度，F_i为第i张图像的向量表示，F_j为第j张图像的向量表示；第i张图像向量F_i是第i张图像按照行展开生成的一列向量。

3.根据权利要求1或2所述一种基于多视角信息融合的机器人三维形状识别方法，其特征在于：

步骤3中卷积神经网络模型由卷积层、抽样层、全连接层、dropout层、softmax层组成；其中卷积层和抽样层各有m层，且卷积层和抽样层交替出现；卷积层为网络的特征提取层，每个卷积层包含多个神经元，每个神经元只对前一层网络相应的局部位置进行特征提取，且神经元对同一层所有区域的感知权值相等；抽样层为网络的特征映射层，每个卷积层包含多个神经元，卷积层由多个特征映射组成，每个特征映射为一个平面，平面上所有的神经元权值相等。