[发明专利]一种面向机器人抓取的数据主动式选择方法

说明书

本发明属于计算机视觉技术领域，提供了一种面向机器人抓取的数据主动式选择方法，主要分为两个分支，物体抓取方式检测分支以及数据选择策略分支，包括数据特征提取模块、抓取方式检测模块和数据选择策略模块。本发明的核心内容为数据选择策略模块，该模块共享主干网络的特征提取层，并融合了三个不同大小感受野的特征，充分利用特征提取模块的同时，大大减少了需要添加的参数量。在主干的抓取方式检测网络模型训练过程中，数据选择策略模块可以进行同步的训练，从而形成端到端的模型。本发明利用了天然存在的标注、未标注标签，充分利用了已标注数据以及未标注数据，在已标注数据量较小时，仍然可以对网络进行更加充分的训练。

技术领域

本发明属于计算机视觉技术领域，尤其涉及基于深度学习、利用主动式学习减少数据标注成本的方法。

背景技术

机器人抓取方式检测是一个具有重要应用意义的计算机视觉研究课题，它旨在给定一个场景的情况下，分析其中所包含物体的抓取方式，并选择最佳的抓取方式进行抓取。随着深度卷积神经网络(Deep Convolutional Neural Networks,DCNNs)在计算机视觉领域的显著发展，其优秀的学习能力也被大量应用于机器人抓取方式检测研究。然而，相较于一般计算机视觉问题，例如目标检测、语义分割等，机器人抓取方式检测具有两个不可或缺的要求。一是该任务对于实时性的要求，若无法达到实时检测的效果，则该方法也毫无应用价值。二是该任务在陌生环境中所需的学习成本，不同环境中的物体多种多样，若要一个方法更好地应用于一个陌生环境中，那么需要重新获取数据、标注数据并训练以获得更令人满意的检测结果。

当前的深度学习方法需要大量已标注的数据用作训练，然而这些已标注数据中存在人为无法判断的冗余，并且标注者也无法断定哪一份数据能够更好地提升深度学习网络的性能。主动式学习旨在利用策略从未标注数据中选择出最具有信息量的数据，提供给标注者进行标注，尽可能压缩需要标注的数据量，同时保证深度学习网络的训练效果，从而减少标注数据所需的成本。主动式学习的理念与机器人抓取方式检测的第二点要求十分契合，其为机器人抓取方式检测方法在陌生环境中的迁移提供了有效的保障。接下来详细介绍机器人抓取方式检测与主动式学习中的相关背景技术。

(1)机器人抓取方式检测

基于分析法的抓取方式检测

物体抓取方式检测的分析法主要利用物体的数学以及物理几何模型，结合动力学、运动学计算出当前物体的稳定抓取方式。然而，由于机械夹爪与物体之间的交互行为很难进行物体建模，所以这种检测方法在现实世界的应用中并没有取得良好的效果。

基于经验法的抓取方式检测

物体抓取方式检测的经验法着重于利用物体模型和基于经验的方法。其中，有一部分工作运用物体模型建立数据库，将已知物体与有效的抓取方式关联在一起。面对当前物体时，在数据库中查找类似的物体，从而获取抓取方式。这种方法相比于分析法在实际环境中有相对较好的应用效果，但是仍然欠缺对于未知物体的泛化能力。

基于深度学习的抓取方式检测

深度学习的方法已经被证实在视觉任务中有着巨大的作用，对于未知物体的抓取方式检测，基于深度学习的算法也取得了许多进展。主流的抓取方式表示形式为类似目标检测的矩形框，然而这个矩形框有一个旋转角参数，利用矩形框的中心点坐标、矩形框宽度以及矩形框旋转角就可以表示一个独特的抓取姿态。迄今为止的抓取方式检测算法中大部分都遵循一个通用的检测流程：从图像数据中检测出候选的抓取位置，利用卷积神经网络对每一个候选的抓取位置进行评估，最终选择评估值最高的抓取位置作为输出。其中具有代表性的是Chu等人提出的基于目标检测模型FastRCNN修改得到的物体抓取方式检测模型，这种方式的网络模型参数量大，实时性相对较低。Morrison等人提出了一种基于全卷积神经网络的像素级别的物体抓取方式检测模型，输出四张与原图大小相等的图像，分别为抓取值图、宽度图、旋转角的正弦图与余弦图。该模型参数量少，实时性高。基于深度学习的抓取方式检测在实际场景中效果良好，并且对未知物体的泛化能力强。