[发明专利]基于注意力机制的物体操作指令跟随学习方法及装置

说明书

本发明公开了一种基于注意力机制的物体操作指令跟随学习方法及装置，该方法包括：获取目标场景图像，提取目标场景图像的图像特征；对物体操作指令进行特征提取得到物体操作指令的文本特征；通过双线性模型对图像特征和物体操作指令的文本特征进行融合，得到图像特征上的注意力分布；将注意力分布作用到初始的图像特征上进行加权，根据加权后的图像特征得到操作参数在各自空间的概率分布，将概率最大值对应的操作参数作为动作参数。该方法解决了现有物体操作指令跟随方法性能低下的问题。

技术领域

本发明涉及机器学习技术领域，特别涉及一种基于注意力机制的物体操作指令跟随学习方法及装置。

背景技术

得益于深度学习技术的兴起和计算能力的提升，机器人技术在理论研究和工业应用上都取得了突飞猛进的发展，越来越多的实体机器人开始走出实验室，奔向热火朝天的工厂一线，也逐渐进入到寻常百姓的家里。然而，令人担忧的是，绝大多数的机器人应用依然局限在简单可控的工业流水线上，一旦进入动态开放环境，尤其面对复杂任务目标时，机器人常常表现笨拙，无法自主做出正确的动作。在这种情况下，人类通过语言与机器人沟通，指挥并引导他们就显得尤为重要了。在面对复杂任务时，一旦机器人具备了理解和执行人类指令的能力，即指令跟随功能，人类就可以根据自身的知识经验对任务进行分解，将其分解成一系列的简单问题，并通过指令的形式传递给机器人，机器人按照指令逐个地解决简单问题，最终完成初始的复杂任务。因此，如果我们期待机器人能够在人类活动中发挥更大的作用，那么指令跟随将是它必须要掌握的一项基本技能，这也是通往通用智能机器人的必经之路。

物体操作指令跟随的基础是机器人物体抓取。物体抓取是机器人研究中的一个古老问题，几十年来一直属于是机器人社区的研究热点，新的理论，方法和技术层出不穷。然而，即使经过数十年的发展和沉淀，物体抓取至今仍是一个充满挑战性的任务，目前机器人的物体抓取能力仍然远远弱于人类，更无法满足日常生活和工业生产的需求。目前，主流的物体抓取研究工作可以划分为两类，分别是传统解析方法和数据驱动的学习方法。前者在上个世纪占据着主导地位，进入新世纪尤其是在深度学习兴起后，数据驱动的方法则统治了物体抓取问题的研究。

物体操作指令跟随是一个计算机视觉和自然语言处理相结合的交叉任务，目前在学术界还是一个比较小众的研究方向，任务难度系数较高，相关研究工作仍处于起步阶段，研究方向多种多样，尚未具备同一的通用框架。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于注意力机制的物体操作指令跟随学习方法，该方法解决了现有物体操作指令跟随方法性能低下的问题，通过注意力机制，使得神经网络能够将指令的文本特征和图像空间特征关联起来并进行融合，基于融合后的特征捕捉到精确的注意力图，进一步得到操作参数在各自动作空间的概率分布。

本发明的另一个目的在于提出一种基于注意力机制的物体操作指令跟随学习装置。

为达到上述目的，本发明一方面实施例提出了一种基于注意力机制的物体操作指令跟随学习方法，包括：

获取目标场景图像，提取所述目标场景图像的图像特征；

对物体操作指令进行特征提取得到所述物体操作指令的文本特征；

通过双线性模型对所述图像特征和所述物体操作指令的文本特征进行融合，得到所述图像特征上的注意力分布；

将所述注意力分布作用到初始的所述图像特征上进行加权，根据加权后的图像特征得到操作参数在各自空间的概率分布，将概率最大值对应的操作参数作为动作参数。

为达到上述目的，本发明另一方面实施例提出了一种基于注意力机制的物体操作指令跟随学习装置，包括：

图像特征提取模块，用于获取目标场景图像，提取所述目标场景图像的图像特征；