[发明专利]基于多模态信息的机器人准确抓取方法及计算机可读介质

摘要

本发明涉及一种基于多模态信息的机器人准确抓取方法及计算机可读介质，抓取方法包括：步骤1：获取包含待抓取目标的RGB场景图像，同时获取抓取指令；步骤2：对抓取指令进行关键词匹配，根据抓取指令匹配的关键词得到对应的独热编码；步骤3：将RGB场景图像和独热编码输入目标物体定位网络，获取待抓取物体的宽度、旋转角度及其质心的位置坐标；步骤4：控制机器人移动至对应的抓取位置，然后控制机器人末端执行器旋转对应角度，控制机器人末端执行器下降至设定高度后，控制机器人夹爪调整距离执行抓取任务；步骤5：完成机器人的准确抓取。与现有技术相比，本发明具有精度高、鲁棒性好、实现准确抓取、灵活便捷等优点。