[发明专利]一种基于计算机视觉和深度学习的平面抓取检测方法

说明书

本发明属于公开了机械臂抓取计算领域的一种基于计算机视觉和深度学习的平面抓取检测方法，其步骤包括：收集或自制抓取数据集，并进行特定的数据增强；利用深度补全算法补全深度图信息，并对数据集进行深度信息融合、统一裁剪以及训练验证划分；根据训练得到的抓取检测模型，利用真实图像数据作为网络输入，抓取质量分数及抓取框五维表示作为输出，采用反向传播算法和基于标准梯度的优化算法，通过排序优化转换为抓取框四个顶点信息，实现可视化，最终映射到真实世界坐标。使得检测得到的抓取框与真实值差异最小化；本发明解决了经验抓取检测方法为实现泛化性而很难满足精准性的问题；解决了抓取检测方法在真实场景中难以保证实时性的问题。

技术领域

本发明属于机械臂抓取技术领域，特别涉及一种基于计算机视觉和深度学习的平面抓取检测方法。

背景技术

机器人的抓取力远远落后于人类的表现，并且是机器人领域中尚未解决的问题。当人们看到新颖的物体时，他们根据自己的经验本能地快速轻松地抓住任何未知物体。近年来展开了许多与机器人抓取和操纵有关的工作，但是实时的抓取检测仍然是一个挑战。机器人抓取问题可分为三个连续阶段：抓握检测，轨迹规划和执行。抓取检测是一种视觉识别问题，其中机器人使用其传感器来检测其环境中的可抓取物体。用于感知机器人环境的传感器通常是3D视觉系统或RGB-D摄像机。关键任务是根据传感器信息预测潜在的抓取并将像素值映射到真实世界的坐标。这是执行抓握的关键步骤，因为后续步骤取决于在此步骤中计算出的坐标。然后，将计算出的真实世界坐标转换为机器人手臂末端工具的位置和方向。然后计划机械臂的最佳轨迹，以达到目标抓握位置。随后，使用开环或闭环控制器执行机械臂的规划。

随着越来越多的研究，机器人变得比以往更加智能，人们越来越需要一种通用技术来检测对机器人所遇到的任何物体的快速而稳健的抓取。而这其中，最主要的问题之一就是如何将机器人学到的知识精确地转移到新颖的现实世界对象上，这不仅要求算法的实时性和精准性，新的发展需求对泛化性也提出了要求。

抓取检测主要分为两类方法，一种是分析法，一种是经验法。分析法指的是依据机械手的各种参数，通过设计符合稳定性和灵活性等条件的力闭合约束条件来限定抓取位姿。这类方法，可以理解为一种基于动力学、几何学的约束问题的求解和优化。当抓取位姿满足力闭合条件时物体被夹具夹住，并在静摩擦力的作用下使得物体不再发生位移或旋转，从而维持抓取的稳定。分析法生成的抓取位姿能够确保目标物体的成功抓取，但这种方法通常只能应用在简单的理想模型上。实际场景的多变性、物体摆放的随机性、以及图像传感器的噪声等等，一方面增加了计算的复杂度，另一方面计算的精度无法得到保证。经验法就是利用知识库中的信息，去检测抓取位姿及判断其合理性。从物体的特征出发，利用相似性进行分类和位姿估计，从而达到抓取的目的。不需要像分析法那样需要预知目标物体的摩擦系数等等参数，具有更好的鲁棒性。但是经验法通常并不能兼顾实现精准性和实时性。

发明内容

本发明的目的提出一种基于计算机视觉和深度学习的平面抓取检测方法，其特征在于，包括：

步骤1：收集或自制抓取数据集，其中包括RGB图像及相应的标注信息和深度信息；对数据集进行尺度变换、平移、翻转和旋转的数据增强，扩充数据集；

步骤2：根据步骤1得到的扩充后的数据集制作并划分训练数据；利用深度补全算法补全深度图信息，并完成RGB图像与深度信息的融合；对融合图像进行裁剪及缩放，使其满足抓取检测模型的输入格式，并按照9：1的比例随机划分训练集与验证集，分别用于抓取检测模型的训练和验证；

步骤3：利用训练数据对提出的抓取检测模型进行训练，采用反向传播算法和基于标准梯度的优化算法来优化目标函数的梯度，使得检测得到的抓取框与真实值差异最小化；同时利用验证集对抓取检测模型进行测试，来调整抓取检测模型训练过程中的学习率，并一定程度避免抓取检测模型的过拟合；其中目标函数的定义为：

L_toral＝L_boxes+L_Q+L_angle