[发明专利]修改计算图

说明书

包括在计算机存储介质上编码的计算机程序的方法、系统和装置，用于修改计算图以包括发送节点和接收节点。通过将发送节点和接收节点插入到每个子图中，可以有效地处理执行计算图的不同子图的操作的独特设备之间的通信。当被执行时，这些发送节点和接收节点所代表的操作可以使得独特设备对能够以自给自足的方式彼此进行通信。这将协同通信的负担从后端移开，这为处理这种计算图表示的系统提供了在设备执行子图的同时执行一个或多个其他过程的机会。

背景技术

本说明书涉及修改表示神经网络的计算图和/或经修改的计算图在处理模型输入中的应用。

神经网络是机器学习模型，其采用一层或多层模型来为接收到的输入生成输出，例如一个或多个分类。一些神经网络除了输出层之外还包含一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层(即网络的下一个隐藏层或输出层)的输入。网络中的每个层根据该层相应参数集的当前值从接收到的输入生成输出。

神经网络的层可以由单个设备处理。该设备可以具有执行诸如从输入生成层的输出的操作的处理器，并且将来自该操作的输出存储在存储器中。由于通常需要在神经网络中生成输出的操作具有大的数量和大小，所以一个设备可能花费大量时间来处理神经网络的层。

发明内容

通常，本说明书描述了用于修改表示神经网络和其他机器学习模型的计算图的系统。

本说明书中描述的主题的特定实施例可以被实现以便实现以下优点中的一个或多个。神经网络的操作(例如，从输入生成推理或训练神经网络的操作)可以表示为节点和有向边的计算图。系统处理这种计算图表示以有效地执行神经网络的操作。作为说明，可以将计算图的子图指派给独特的设备，其中的每个子设备在相应的子图中执行操作，以减少执行神经网络操作所需的总体时间。通过将发送节点和接收节点插入到每个子图中，可以有效地处理执行计算图的不同子图的操作的独特设备之间的通信。当被执行时，这些发送节点和接收节点表示的操作可以使得独特设备对能够以自给自足的方式彼此进行通信。这将协同通信的负担从后端移开，这为处理这种计算图表示的系统提供了在设备执行子图的同时执行一个或多个其他过程的机会。发送节点和接收节点用作以这样的方式划分子图，该方式允许神经网络或由这些子图表示的神经网络的一部分在一个设备上被训练，并且随后被分配给另一个设备。至少由于这些原因，将计算图修改为包括发送节点和接收节点对可以帮助减少以分布式方式处理计算图所需的时间成本以及网络通信量。

在一个方面，本说明书中描述的主题可以体现在一种方法中，其可以包括获得表示计算图的数据的动作，该计算图包括多个节点和有向边，其中每个节点表示相应的操作，并且其中每个有向边将相应的第一节点连接到相应的第二节点，该相应的第二节点表示接收由相应的第一节点表示的操作的输出作为输入的操作；获得识别跨越多个设备的计算图的分配的数据，其中该分配将计算图中的每个节点指派给多个设备中的相应设备，识别计算图中的一个或多个跨设备有向边，其中每个跨设备有向边是将相应的第一节点连接到相应的第二节点的有向边，所述相应的第二节点在分配中被指派给与相应的第一节点不同的设备；并且对于每个跨设备有向边，在计算图中的相应的第一节点和相应的第二节点之间插入发送节点，在操作图中的发送节点和相应的第二节点之间插入接收节点，以及修改分配以将发送节点指派给与相应的第一节点相同的设备以及将接收节点指派给与相应的第二节点相同的设备；和根据所修改的分配将由计算图中的节点表示的操作指派给所述多个设备。这些方法可以是计算机实现的方法。

在一个实施方式中，该方法还包括：接收模型输入；以及根据由修改的计算图表示的操作处理模型输入。

另一方面，本说明书中描述的主题可体现在这样的方法中，其可包括提供与通过第一方面的方法获得的修改的计算图对应的机器学习模型的动作；并使用机器学习模型处理模型输入。处理可以构成对机器学习模型的训练，或者可以构成从模型输入生成推论。

另一方面，本说明书中描述的主题可体现这样的方法中，其可包括由多个设备执行通过第一方面的方法获得的修改的计算图的动作。