[发明专利]多任务多模态机器学习系统

说明书

一种方法、系统和装置，包括在计算机存储介质上编码的计算机程序，用于训练机器学习模型，以执行来自多个机器学习域的多个机器学习任务。一种系统包括机器学习模型，所述机器学习模型包括：多个输入模态神经网络，对应于相应的不同模态，并且被配置成将接收到的所述相应模态的数据输入映射到来自统一表示空间的映射数据输入；编码器神经网络，被配置成处理来自所述统一表示空间的映射数据输入以生成相应的编码器数据输出；解码器神经网络，被配置成处理编码器数据输出以从所述统一表示空间生成相应的解码器数据输出；以及多个输出模态神经网络，对应于相应的不同模态，并且被配置成将解码器数据输出映射到对应模态的数据输出。

相关申请的交叉引用

本申请是于2017年5月19日提交的美国临时专利申请No.62/509,016的非临时申请并要求该申请的优先权，通过引用其全部内容并入于此。

背景技术

本说明书涉及神经网络。

神经网络是机器学习模型，其使用一层或多层非线性单元来预测接收到的输入的输出。一些神经网络除输出层外还包括一个或多个隐藏层。每个隐藏层的输出都用作网络中的下一层的输入，即下一隐藏层或输出层。网络的每一层都根据相应参数集的当前值从接收的输入生成输出。可以使用训练数据在机器学习任务上训练神经网络，以确定层参数的训练的值，并且该神经网络可用于在神经网络输入上执行机器学习任务。

发明内容

本说明书描述了用于训练单个机器学习模型以执行来自不同机器学习域的多个机器学习任务的、包括在计算机存储介质上编码的计算机程序的方法和系统。示例机器学习域包括图像识别、语音识别、机器翻译、图像标注或解析。

通常，本说明书中所述主题的一个创新方面能够体现为一种系统，该系统包括一个或多个计算机以及一个或多个存储设备，该存储设备存储指令，当这些指令被一个或多个计算机执行时，引起该一个或多个计算机实现机器学习模型，该机器学习模型包括：多个输入模态神经网络，其中，每个输入模态神经网络都对应于多个模态中的不同模态，并且被配置成将接收到的相应模态的数据输入映射到来自统一表示空间的映射数据输入；编码器神经网络，其被配置成处理来自该统一表示空间的映射数据输入以生成相应的编码器数据输出；解码器神经网络，其被配置成处理编码器数据输出以从该统一表示空间生成相应的解码器数据输出；以及多个多输出模态神经网络，其中，每个输出模态神经网络都对应于不同模态，并且被配置成将对应于所接收的相应模态的数据输入的来自统一表示空间的解码器数据输出，映射到相应模态的数据输出。

该方面的其它实施例包括相应方法、装置以及记录在一个或多个计算机存储设备上的计算机程序，每个计算机程序都被配置为执行方法的动作。一个或多个计算机的系统能够被配置成借助于安装在系统上的软件、固件、硬件或其任何组合来执行特定的操作或动作，该软件、固件、硬件或其任何组合在操作时可以引起系统执行这些动作。一个或多个计算机程序能够被配置成通过包括指令来执行特定的操作或动作，这些指令在由数据处理装置执行时使该装置执行动作。

上述和其它实施例能够各自可选地单独或组合地包括一个或多个以下特征。在一些实施方式中，多种模态包括：(i)图像识别；(ii)语音识别；(iii)翻译；(iv)图像标注或(v)解析中的一种或多种。

在一些实施方式中，所接收的数据输入包括来自不同模态且具有不同大小和维度的数据输入，并且其中，来自统一表示空间的映射数据输入的大小不同。

在一些实施方式中，多个输入模态网络包括对应于不同模态的神经网络，并且其中，多个输出模态网络包括对应于不同模态的神经网络。

在一些实施方式中，多个输入模态网络和多个输出模态网络模态包括：(i)语言模态网络；(ii)图像模态网络；(iii)音频模态网络；以及(iv)分类数据模态网络。