[发明专利]互动式语言习得的系统和方法

说明书

本文描述了用于通过交谈环境使用一次性概念学习进行互动式语言习得的系统和方法。有监督的语言学习受到主要捕捉训练数据的统计数据的能力的限制，并且难以适应新的场景，也难以灵活地习得新知识而没有低效的再训练或灾难性遗忘。在一个或多个实施方式中，交谈互动用作语言学习和新颖知识习得两方面的自然界面。公开了用于通过互动式交谈进行基础语言学习的联合模仿和强化方法的实施方式。用这种方法训练的代理能够通过询问关于新颖对象的问题来主动获取信息，并在随后的交谈中以一次性的方式使用刚刚学到的知识。与其他方法相比，结果验证了本文公开的实施方式的有效性。

技术领域

本公开总体上涉及用于计算机学习的系统和方法，其可以提供改进的计算机性能、特征和用途。

背景技术

语言是人类最自然的交流形式之一，通常被视为人类智力的基础；因此，智能代理能够使用语言与人类交流也是至关重要的。虽然使用深度神经网络的有监督训练已经得到语言学习方面令人鼓舞的进步，但是它面临的问题是主要捕捉训练数据的统计数据，以及缺乏对新场景的适应性和灵活地习得新知识，而没有低效的再训练或灾难性的遗忘。此外，深度神经网络模型的有监督训练需要大量的训练样本，而许多有趣的应用需要从少量数据中快速学习，这给有监督设置带来了更大的挑战。

因此，需要用于使用互动式设置中的概念学习的互动式语言习得的系统和方法，其改进了用于机器学习的计算设备的功能。

背景技术

根据本申请的一方面，提供了一种用于在包括多个时间步的阶段中基于互动的语言学习的计算机实施的方法，所述方法包括：

在时间步，接收包括视觉图像的输入和包括与所述视觉图像相关的零个或更多个单词的自然语言输入；

使用视觉编码器将所述视觉图像编码成视觉特征表示；

使用注意力机制将所述自然语言输入编码成自然语言输入表示；

至少基于所述自然语言输入和先前状态向量在第一神经网络生成状态向量；

经由所述第一神经网络将所述视觉特征表示和所述自然语言输入表示作为视觉模态和句子模态对存储到存储器中；

使所述状态向量通过残余结构化网络以产生控制向量，作为状态输入来调制第二神经网络的行为；以及

使用至少所述控制向量，使用学习到的注意力和内容重要性，在由所述第二神经网络指示的建议的响应部分和使用从所述存储器检索的自然语言输入表示的至少一部分指示的建议的响应部分之间自适应地进行选择，其中使用所述视觉特征表示作为视觉钥匙来检索所述自然语言输入表示，从而形成对应于所述输入的响应。

根据本申请的另一方面，提供了一种用于经过训练的代理使用习得的语言能力和发展的一次性学习能力的计算机实施的方法，所述方法包括：

接收包括视觉图像的输入和包括与所述视觉图像相关的零个或更多个单词的自然语言输入；

使用视觉编码器将所述视觉图像编码成视觉钥匙；

使用注意力机制将所述自然语言输入编码成自然语言输入表示；

至少基于所述自然语言输入和先前状态向量在第一神经网络生成状态向量；

基于所述状态向量产生控制向量以调制第二神经网络的行为；以及

使用至少部分由所述控制向量控制的融合门，在由所述第二神经网络指示的建议的响应部分和使用从存储器检索的自然语言输入表示的至少一部分指示的建议的响应部分之间自适应地进行选择，其中使用所述视觉钥匙检索所述自然语言输入表示，从而形成对应于所述输入的响应，所述存储器存储至少一个视觉模态和句子模态对，每个视觉模态和句子模态对包括存储的视觉特征表示和存储的自然语言输入表示。