[发明专利]基于多模态信息的机器人准确抓取方法及计算机可读介质

权利要求书

1.一种基于多模态信息的机器人准确抓取方法，其特征在于，所述的抓取方法包括：

步骤1：获取包含待抓取目标的RGB场景图像，同时获取抓取指令；

所述的包含待抓取目标的RGB场景图像的获取方法为：

通过视觉传感器获取包含待抓取目标的RGB场景图像，视觉传感器设置于机器人操作平台正前方的一定高度上，视觉传感器的角度使其能够拍摄到包含整个操作平台的场景图像；

步骤2：对抓取指令进行关键词匹配，根据抓取指令匹配的关键词得到对应的独热编码；

所述的步骤2具体为：

抓取指令匹配的关键词包括物体类别和倾斜状态；若场景中可能存在的待抓取物体类别总数为n，则每一种类别物体分别对应着一个n维的独热向量；倾斜状态包括正、横和斜三种倾斜状态，每一种倾斜状态分别对应着一个3维的独热向量；根据抓取指令匹配的关键词可以得到一个n维的类别独热编码和一个3维的倾斜状态独热编码，将两者连接得到n+3维的编码；

步骤3：将RGB场景图像和独热编码输入目标定位网络，获取待抓取物体的宽度、旋转角度及其质心的位置坐标；

所述的目标定位网络包括特征提取模块、目标边框生成模块和定位模块；

所述的特征提取模块包括6个卷积层和4个池化层，特征提取模块的输入为视觉传感器获得的场景图像，输出为场景图像的特征图；

所述的目标边框生成模块包括2个卷积层、1个Flatten层和2个全连接层，目标边框生成模块的输入为特征提取模块提取的特征图和抓取指令对应的n+3维编码向量，输出为(p₁,p₂,…,p₈)，其中(p₁,p₂)、(p₃,p₄)、(p₅,p₆)和(p₇,p₈)分别为待抓取物体在场景图像中边框四个角的像素坐标；

所述的定位模块包括2个全连接层，定位模块的输入为目标边框声场模块的结果和抓取指令对应的n+3维编码向量，输出为(w,x,y,α)，其中w为对应目标物体的宽度，x为目标物体在坐标系中的x轴坐标值，y为目标物体在坐标系中的y轴坐标值，α为机器人旋转角度；

步骤4：控制机器人移动至对应的抓取位置，然后控制机器人末端执行器旋转对应角度，控制机器人末端执行器下降至设定高度后，控制机器人夹爪调整距离执行抓取任务；

步骤5：完成机器人的准确抓取。

2.根据权利要求1所述的一种基于多模态信息的机器人准确抓取方法，其特征在于，所述的抓取指令为语音形式抓取指令或文本形式抓取指令。

3.根据权利要求2所述的一种基于多模态信息的机器人准确抓取方法，其特征在于，所述的步骤2在进行关键词匹配前要判断抓取指令是语音形式抓取指令还是文本形式抓取指令；

若抓取指令为语音形式抓取指令，则先通过语音识别方法将其转换为对应的文本抓取指令，然后进行关键词匹配，获得对应的独热编码；

若抓取指令为文本形式抓取指令，则直接进行关键词匹配，获得对应的独热编码。

4.根据权利要求1所述的一种基于多模态信息的机器人准确抓取方法，其特征在于，所述的目标定位网络采用端到端训练方式，网络的输入为视觉传感器获得的场景图像以及抓取指令对应的编码向量；

训练数据的标签为待抓取物体在场景图像中边框四个角的像素坐标(p_x1,p_y1,…,p_x4,p_y4)、待抓取物体的宽度、在定义坐标系下的位置坐标以及旋转角度(w,x,y,α)；

进行端到端训练时，网络的损失函数包括：目标边框生成模块预测值(p₁,p₂,…,p₈)和真实值(p_x1,p_y1,…,p_x4,p_y4)之差的L2范数以及定位模块预测值(a,b,c,d)和真实值(w,x,y,α)之差的L2范数。