[发明专利]一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法

说明书

本发明涉及一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，首先构建位置‑姿态由粗到细的级联式两阶段卷积神经网络模型，第一阶段采用基于区域的全卷积网络（R‑FCN）实现抓取定位以及抓取角度的粗估计，第二阶段通过构造一种新的Angle‑Net模型实现抓取角度精确计算；其次采集当前含待抓物体的场景图像作为待训练的原始现场图像样本，借助迁移学习机制对两阶段卷积神经网络模型进行训练，然后在线运行中将采集的每一帧单目彩色图像输入到级联式两阶段卷积神经网络模型，最后以所得抓取位置和姿态驱动机器人末端执行器进行物体抓取控制。本方法的抓取检测精度高，有效加快了机器人非规则物体抓取位姿的检测速度，提高了抓取姿态检测算法运行的实时性。

技术领域

本发明涉及一种机器人自主抓取姿态检测的方法，具体地说是一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，属于机器人视觉技检测与抓取控制技术领域。

背景技术

在机器人分拣、搬运等抓取作业任务中，包括顶抓（Top-grasp）和侧抓（Side-grasp）两种方式的平面抓取（Planar Grasp）是机器人最为常用的抓取策略。对于任意姿态的未知不规则物体，在光照不均、背景复杂的场景下，如何利用低成本的单目相机实现快速可靠的机器人自主抓取姿态检测具有很大的挑战。

机器人自主抓取姿态规划方法根据感知信息的不同可分为两类：一类是基于物体模型的抓取姿态估计，一类是不依赖物体模型的抓取姿态检测。基于模型的方法需要给定精确、完整的物体三维模型, 然而低成本相机成像噪声大,很难扫描建立精确模型。另外,基于三维模型的方法计算复杂,难以适应机器人实时抓取判断的需求。

不依赖物体模型的方法借助机器学习技术,其实质是将抓取位姿检测问题转化成目标识别问题。机器学习方法的出现令抓取检测不局限于已知物体。早期的学习方法（见“Jiang Y, Moseson S, Saxena A, Efficient grasping from RGBD images: Learningusing a new rectangle representation, IEEE ICRA 2011”）需要人为针对特定物体设定特定的视觉特征，不具备灵活性。近年来，深度学习发展迅速，其优越性正在于可自主提取与抓取位姿有关的特征。

机器人抓取检测问题包括两个部分：抓取位置确定和抓取姿态估计。传统的位置检测方法根据二值化的图像计算物体重心作为抓取位置，但可抓取位置不在重心处的物体甚多。通常采用滑动窗口法（见“Lenz I, Lee H, Saxena A. Deep learning fordetecting robotic grasps. The International Journal of Robotics Research,2015”）解决抓取点不在重心上的问题，但此方法以遍历搜索获得最优解，时间代价大。一种改进方法（见“杜学丹, 蔡莹皓, 鲁涛等. 一种基于深度学习的机械臂抓取方法. 机器人,2017”）是通过缩小搜索区域范围并减少搜索窗旋转次数以实现时间的优化。在抓取姿态估计方面，一些最新的方法（见“Guo D, Sun F, Liu H, et al. A hybrid deeparchitecture for robotic grasp detection, IEEE ICRA 2017”）将最优搜索窗的旋转角度作为抓取角度，但这些属于粗估计方法，低精度的抓取角度可导致机器人在实际抓取时因受力点错误而抓取失败。因此，减少抓取定位时间消耗和提升姿态估计精度是机器人在线抓取检测时亟待解决的两个问题。

深度神经网络用于机器人抓取位姿检测的另一个问题是, 已有公开模型都是在封闭大数据集上训练所得，通常需要随机器人部署而扩展关于实际特定抓取对象的小样本数据集。迁移学习为特定任务小样本集下深度网络模型训练提供了方法。自建的数据集规模虽小，但可在已经过百万级封闭数据集训练并具有基本特征提取能力的模型上微调训练，令在特定小样本集下训练的模型仍具有卓越的性能。这样不仅缩短训练周期，还可提升整个系统的拓展性。