[发明专利]基于多模态信息的机器人准确抓取方法及计算机可读介质

说明书

本发明涉及一种基于多模态信息的机器人准确抓取方法及计算机可读介质，抓取方法包括：步骤1：获取包含待抓取目标的RGB场景图像，同时获取抓取指令；步骤2：对抓取指令进行关键词匹配，根据抓取指令匹配的关键词得到对应的独热编码；步骤3：将RGB场景图像和独热编码输入目标物体定位网络，获取待抓取物体的宽度、旋转角度及其质心的位置坐标；步骤4：控制机器人移动至对应的抓取位置，然后控制机器人末端执行器旋转对应角度，控制机器人末端执行器下降至设定高度后，控制机器人夹爪调整距离执行抓取任务；步骤5：完成机器人的准确抓取。与现有技术相比，本发明具有精度高、鲁棒性好、实现准确抓取、灵活便捷等优点。

技术领域

本发明涉及机器人技术领域，尤其是涉及一种基于多模态信息的机器人准确抓取方法及计算机可读介质。

背景技术

机器人抓取在工业和物流自动化有广泛的应用，也是智能机器人完成各种任务至关重要的操作。目前绝大多数抓取机器人针对的物体种类、位置相对固定，通过对机器人的编程控制来实现抓取。但是应对目标多样、位置变化的情况下，每一次变化就需要对控制程序进行相应的改动，繁琐且低效。因此理想的抓取需要满足广泛的需求，在目标物体种类以及位置发生变化的情况下，仍然能获得目标物体的位置信息，机器人接收到目标物体的位置信息完成抓取。

近年来，随着深度学习的发展，许多基于卷积神经网络的机器人抓取方法被提出。这些方法往往通过对图像中的物体进行定位，获得对象的位置信息，进而完成后续的抓取任务。这些方法，通过输入视觉传感器获得的场景图像，输出物体的位置信息，在物体种类、位置存在多样性的情况下，仍然保持较高的准确性。但是，这些模型存在着以下问题：包含大量的参数，要获得较高的准确性，需要大量的现实场景数据来训练模型，现实场景数据的获取需要耗费大量的时间和精力；大部分方法对场景中的所有物体进行定位，对指定物体的抓取需要对输出的定位结果进行筛选；多数方法并没有考虑物体的旋转角度，仅考虑其质心的位置坐标，对于长宽比较大的物体可能导致抓取任务的失败；多数方法对视觉传感器的位置及拍摄角度要求严格，需要将视觉传感器安装于操作平台的正上方，如中国专利CN110000783A中公开的一种机器人的视觉抓取方法和装置，该专利对视觉传感器的要求就较为严格，视觉传感器设置位置会影响抓取的精确程度，系统的鲁棒性差。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种精度高、鲁棒性好、实现准确抓取、灵活便捷的基于多模态信息的机器人准确抓取方法及计算机可读介质。

本发明的目的可以通过以下技术方案来实现：

一种基于多模态信息的机器人准确抓取方法，所述的抓取方法包括：

步骤1：获取包含待抓取目标的RGB场景图像，同时获取抓取指令；

步骤2：对抓取指令进行关键词匹配，根据抓取指令匹配的关键词得到对应的独热编码；

步骤3：将RGB场景图像和独热编码输入目标物体定位网络，获取待抓取物体的宽度、旋转角度及其质心的位置坐标；

步骤4：控制机器人移动至对应的抓取位置，然后控制机器人末端执行器旋转对应角度，控制机器人末端执行器下降至设定高度后，控制机器人夹爪调整距离执行抓取任务；

步骤5：完成机器人的准确抓取。

优选地，所述的包含待抓取目标的RGB场景图像的获取方法为：

通过视觉传感器获取包含待抓取目标的RGB场景图像，视觉传感器设置于机器人操作平台正前方的一定高度上，视觉传感器的角度使其能够拍摄到包含整个操作平台的场景图像。

优选地，所述的抓取指令为语音形式抓取指令或文本形式抓取指令。

更加优选地，所述的步骤2在进行关键词匹配前要判断抓取指令是语音形式抓取指令还是文本形式抓取指令；