[发明专利]增强神经网络

说明书

方法、系统和装置，包括在计算机存储介质上编码的计算机程序，用于利用附加操作增强神经网络。方法之一包括由管理表示计算图系统的用户的神经网络操作的计算图的执行的计算图系统维护指定多个预训练的神经网络的数据，其中，预训练的神经网络中的每一个是已经对训练数据进行训练以确定该神经网络的相应参数的已训练值的神经网络；获得指定表示神经网络操作的用户计算图的数据，该用户计算图包括通过边连接的多个节点；识别(i)用户计算图中的第一节点之后的插入点和(ii)来自多个预训练的神经网络中的特定预训练的神经网络；以及将远程调用节点插入到用户计算图中。

相关申请的交叉引用

本申请要求于2017年9月15日提交的美国专利申请No.62/559,463的优先权，其全部内容通过引用合并于此。

背景技术

本说明书涉及使用神经网络处理输入。

机器学习模型接收输入，并基于接收到的输入生成输出，例如，预测输出。一些机器学习模型是参数模型，并且基于接收到的输入和模型的参数的值生成输出。

一些机器学习模型是采用多层模型对于接收到的输入生成输出的深度模型。例如，深度神经网络是包括输出层和一个或多个隐藏层的深度机器学习模型，每个隐藏层将非线性变换应用于接收到的输入以生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并且从输入序列生成输出序列的神经网络。特别地，递归神经网络使用在处理输入序列中的先前输入之后的网络的内部状态的部分或全部来从输入序列中的当前输入生成输出。

发明内容

本说明书描述一种实施为在一个或多个位置的一个或多个计算机上的计算机程序的系统如何利用由不同的、单独的已训练的神经网络执行的操作来增强表示神经网络操作的计算图。

可以实施本说明书中描述的主题的特定实施方式，以实现以下优点中的一个或多个。用户计算图可以利用已训练的神经网络来增强，使得当系统执行用户计算图时，在执行过程中在适当点处执行已训练的神经网络的操作，但是已训练的神经网络的架构和已训练的参数值对用户不透明。因此，系统可以提供预训练的神经网络的库的功能，而无需向系统的用户公开神经网络的操作的细节。这可以使用户与系统进行交互以指定用户计算图的过程更加直接和省时，因为用户不必指定用户计算图内的低级神经结构以执行由预训练的网络执行的功能。因此，本公开使得改进的用户界面成为可能。

此外，因为神经网络可能已经被完全或部分地训练，所以系统可以减少训练用户神经网络所需的计算资源，即，因为多个用户计算图可以利用相同的已训练的神经网络而无需为每个用户从头开始重新训练已训练的神经网络。

此外，通过将预训练的最新神经网络合并到用户计算图中，可以提高用户神经网络的性能，而无需系统分配额外资源来训练用户神经网络或无需在网络上与用户之间传输大量数据，即，训练数据。

本说明书中描述的主题的一个或多个实施例的细节在附图和以下描述中阐述。从说明书、附图和权利要求中，主题的其他特征、方面和优点将变得显而易见。

附图说明

图1示出示例计算图系统。

图2是用于增强用户计算图的示例过程的流程图。

图3示出示例增强用户计算图。

在各个附图中，相似的参考数字和名称指示相似的元素。

具体实施方式

本说明书总体上描述一种将机器学习模型维护为计算图的计算图系统。