[发明专利]基于共享神经网络的可抓取物体识别方法

权利要求书

1.一种基于共享神经网络的可抓取物体识别方法，其特征在于：所述方法的实现过程为：

步骤一、采用随机抽样一致性算法对原始图像中物体支撑平面进行拟合，以完成对场景中物体支撑平面的参数估计；

步骤二、采用基于RGB-D融合信息的图像分割技术，分别在深度图像和彩色图像上对物体进分割，并通过融合两个图像的物体区域，获得最终的物体分割区域；

步骤三、采用基于浅层特征描述方法，从有限的训练图像数据中，学习物体的图像特征；

步骤四、构建共享神经网络模型，将可抓取物体识别问题分解为物体可抓取性判别和可抓取物体识别两个子任务，实现由粗到细的可抓取物体有效识别；

所述共享神经网络结构的构建过程为：

在获取物体的浅层特征后，以所述浅层特征为输入，构建一个采用深度神经网络模型来提取图像更高等级的自学习特征，并输出对物体的可抓取性判别结果和物体种类的识别结果；

所述共享神经网络模型包括六层：

一个输入层，包含四通道子输入，分别为彩色图像上的浅层SIFT特征描述子和HOG特征描述子以及深度图像上的HOG特征描述子和Spin image特征描述子；

一个独立子隐含层，包含四通道，分别处理输入层四通道子输入的特征描述子；

一个相同通道特征信息融合层，包含两通道，分别处理独立子隐含层中彩色图像分量和深度图像分量；

一个不同通道特征信息融合层，为单通道，用于将相同通道特征信息融合层的处理结果进行信息融合；

一个独立子隐含层，包含两通道，分别用于学习物体的可抓取性特征和物体种类特征；

一个输出层，包含两个子任务，两个子任务用于输出对物体的可抓取性判别结果和物体种类的识别结果；

其中，共享神经网络模型的一个子任务为判断物体是否适合抓取，其输出0代表该物体不适合抓取，1代表适合抓取；另一个子任务为当物体可抓取性判别为可抓取时，对可抓取物体种类的识别，其输出结果代表该物体所属的种类；

共享神经网络损失函数的构建过程为：

以从物体上提取的多通道浅层图像特征描述为输入对物体是否为适合抓取及其所属种类采用六层深度共享神经网络进行建模，模型输出为此物体是否为适合抓取物体的概率估计为当此物体为可抓取物体时属于类别l的概率；

为物体信息对应的可抓取性标记，如果即物体被识别为可抓取物体时，是此时该物体的类别标记，共计有L种可抓取物体类别，其中Φ代表神经网络的全部模型参数；

为了保证模型在两个任务下都得到优化，采用一种改进的损失函数，如下式：

L_f＝G(d)L_dis(p_d,d)+λ₁I(d)L_cls(p_c,c)

式中，L_f是网络模型的损失函数，包含可抓取判别任务损失函数L_dis和可抓取物体类别损失函数L_cls；p_d和p_c分别是两个分类任务的输出离散概率；I(d)是指示函数，当d为真时则为1，反之则为0；λ₁为控制当两个任务均有效时，物体分类任务对优化目标的影响权重；λ₂为控制当只有可抓取性判别生效时的训练实例对优化目标的影响；

当可抓取物体识别的输出结果为可抓取物体时，损失函数L_f包含了来自于可抓取物体判别任务和可抓取物体类别识别任务的损失，而当可抓取物体识别的输出结果为不可抓取物体时，损失函数L_f只包含来自于可抓取物体判别任务的损失项；抓取判别任务损失函数L_dis和可抓取物体类别损失函数L_cls分别为采用Logistic分类器时的损失函数和Softmax分类器时的损失函数；

步骤五、对共享神经网络模型进行预训练和微调训练，优化神经网络模型的参数；

步骤六、利用训练完成后的模型对物体的可抓取特性及可抓取物体的类别进行识别。