[发明专利]元组图程序中子图内优化的方法

说明书

编程模型生成用于程序的图形，所述图形包括多个节点和边，其中所述图形的每个节点表示操作，并且所述节点之间的边表示输入到由所述节点表示的操作并从由所述节点表示的操作输出的数据流。该模型确定分布式架构中执行由节点表示的操作的位置。这种确定可以包括确定哪些节点具有位置限制，基于该限制将位置分配给具有位置限制的每个节点，以及将该图分区成多个子图，该分区包括根据第一组约束将位置分配给没有位置限制的节点，其中特定子图内的每个节点被分配给相同的位置。每个子图在其分配的位置在相应的单个线程中执行。

相关申请的交叉引用

本申请是2017年8月24日提交的美国专利申请No.15/685,055的继续申请，其公开内容通过引用并入本文。

背景技术

云计算允许具有各种计算能力的用户为了成本和计算效率而使用可配置资源的共享池来存储和处理数据。用于云计算的当前编程模型包括MapReduce,Dryad和批量同步并行云处理。面向分布式计算的一个问题是性能。分布式计算中的性能与数据与计算单元的接近程度以及计算单元之间的数据传输成本有关。

发明内容

本公开描述了一种用于云计算的新的编程模型。新的编程模型可用于编写分布式低延迟非批处理(non-batch)程序。应用在模型下构造程序，然后提交它以供执行。该程序由运算符的有向非循环图组成。值的流沿着图中的边从一个运算符流到另一个运算符。通过流发送的每个值都是元组。相同程序中的不同运算符可以在不同的机器上运行。编程模型协调这些运算符在不同机器上的执行并将数据从一个运算符传播到另一个运算符。

编程模型的一个方面提供了一种方法，包括：生成用于程序的图，所述图包括多个节点和边，所述图的每个节点表示操作，并且所述节点之间的边表示输入到所述节点所表示的所述操作并从所述节点所表示的所述操作输出的数据流。该方法方法傲包括利用一个或多个处理器确定在分布式架构中执行由所述节点表示的所述操作的位置。该确定包括：确定哪些节点具有位置限制；基于所述限制，将位置分配给具有位置限制的每个节点；将所述图分区成多个子图，所述分区包括根据第一组约束将位置分配给没有位置限制的节点，其中将特定子图内的每个节点分配给相同的位置。确定哪些节点具有位置限制包括：识别由所述节点表示的所述操作的要求，并确定哪些位置能够根据所述要求执行所述操作。在另一示例中，一些节点可以具有预定位置。分区可以包括减少具有分配给特定位置的操作的子图的数目。可选地或附加地，分区可以包括检测在子图中创建循环的可能性，并通过进一步对所述子图进行分区来消除所述循环。在相应的单个线程中在每个子图被分配的位置处执行每个子图。

另一方面提供了一种用于确定计算设备之间的操作的分布的方法，包括：利用一个或多个计算设备来确定哪些操作具有预定位置；以及创建一个或多个子图，所述一个或多个子图包括被识别为具有所分配的位置的每个操作。没有分配位置的操作被合并到一个或多个子图中。子图在第一主阶段被分区，其中每个所得到的子图被分配给单独的位置，并且每个所得到的子图在第二本地阶段被分区。第一主阶段可以包括归并分片的子图，将相邻的未分配节点添加到分片的子图中，通过将位置从分配的节点复制到它们的相邻节点，将位置分配给所有未分配的操作，以及将在相同位置运行的所有可能的未分片的子图对归并在一起。所述第二本地阶段包括：识别需要拆分的子图；准备识别出的子图进行拆分；构建归并图，其中每个运算结束于单独的子图；重复地将所述单独的子图归并在一起。