[发明专利]基于注意力机制的物体操作指令跟随学习方法及装置

权利要求书

1.一种基于注意力机制的物体操作指令跟随学习方法，其特征在于，包括以下步骤：

获取目标场景图像，提取所述目标场景图像的图像特征；

对物体操作指令进行特征提取得到所述物体操作指令的文本特征；

通过双线性模型对所述图像特征和所述物体操作指令的文本特征进行融合，得到所述图像特征上的注意力分布；其中，所述图像特征上的注意力分布包括两张注意力图，分别代表对抓取位置和放置位置的关注；

将所述注意力分布作用到初始的所述图像特征上进行加权，根据加权后的图像特征得到操作参数在各自空间的概率分布，将概率最大值对应的操作参数作为动作参数；具体包括：将所述图像特征上的注意力分布分别作用到初始的图像特征上，得到融合后的抓取位置特征和放置位置特征；基于所述抓取位置特征和所述放置位置特征生成三个动作分支，其中两个分支分别对抓取位置特征和放置位置特征不断上采样，得到与目标场景图像同尺寸的抓取位置概率分布图和放置位置概率分布图，另一分支则对抓取位置特征继续下采样输出对应于抓取位置的抓取角度概率分布；将所述抓取位置概率分布图、所述放置位置概率分布图和所述抓取角度概率分布中的概率最大值作为最终的抓取位置、抓取角度、放置位置。

2.根据权利要求1所述的方法，其特征在于，所述提取所述目标场景图像的图像特征，包括：

将所述目标场景图像进行裁剪，利用图像特征提取网络提取所述目标场景图像的图像特征。

3.根据权利要求1所述的方法，其特征在于，所述对物体操作指令进行特征提取得到所述物体操作指令的文本特征，包括：

在所述物体操作指令前端进行固定字符填充；

采用词嵌入方法通过一个浅层神经网络将物体操作指令中的每一个单词映射成稠密向量，再对所述物体操作指令的向量序列进行处理得到所述物体操作指令的文本特征。

4.一种基于注意力机制的物体操作指令跟随学习装置，其特征在于，包括：

图像特征提取模块，用于获取目标场景图像，提取所述目标场景图像的图像特征；

文本特征提取模块，用于对物体操作指令进行特征提取得到所述物体操作指令的文本特征；

融合模块，用于通过双线性模型对所述图像特征和所述物体操作指令的文本特征进行融合，得到所述图像特征上的注意力分布；其中，所述图像特征上的注意力分布包括两张注意力图，分别代表对抓取位置和放置位置的关注；

操作参数生成模块，用于将所述注意力分布作用到初始的所述图像特征上进行加权，根据加权后的图像特征得到操作参数在各自空间的概率分布，将概率最大值对应的操作参数作为动作参数；所述操作参数生成模块具体用于，将所述图像特征上的注意力分布分别作用到初始的图像特征上，得到融合后的抓取位置特征和放置位置特征；基于所述抓取位置特征和所述放置位置特征生成三个动作分支，其中两个分支分别对抓取位置特征和放置位置特征不断上采样，得到与目标场景图像同尺寸的抓取位置概率分布图和放置位置概率分布图，另一分支则对抓取位置特征继续下采样输出对应于抓取位置的抓取角度概率分布；将所述抓取位置概率分布图、所述放置位置概率分布图和所述抓取角度概率分布中的概率最大值作为最终的抓取位置、抓取角度、放置位置。

5.根据权利要求4所述的装置，其特征在于，所述提取所述目标场景图像的图像特征，包括：

将所述目标场景图像进行裁剪，利用图像特征提取网络提取所述目标场景图像的图像特征。

6.根据权利要求4所述的装置，其特征在于，所述文本特征提取模块，具体用于，在所述物体操作指令前端进行固定字符填充；

采用词嵌入方法通过一个浅层神经网络将物体操作指令中的每一个单词映射成稠密向量，再对所述物体操作指令的向量序列进行处理得到所述物体操作指令的文本特征。