[发明专利]用于数据处理的分布式计算系统和方法以及存储介质

说明书

本申请涉及用于数据处理的分布式计算系统和方法以及存储介质。总体上，本公开描述了用于在分布式计算系统中应用分布式流水线模型以使分布式计算系统的处理节点根据具有在流水线语句内指定的执行拓扑的分布式流水线来处理数据以执行任务的技术。

本申请要求于2020年7月9日提交的美国临时申请第63/049,920号的权益，其全部内容通过引用并入本文。

技术领域

本公开涉及一种计算系统，并且具体地，涉及在计算系统内的分布式处理。

背景技术

在计算设备上执行的节点可以相互连接以形成网络化的分布式计算系统来交换数据和共享资源。在一些示例中，在计算设备上执行的多个节点相互连接以共同执行一个或多个应用程序以执行作业。节点可以包括裸金属服务器、虚拟机、容器、进程和/或具有用于分布式计算系统的数据处理能力的其他执行元件。每个节点可以单独地为分布式计算系统执行各种操作，诸如收集、处理和导出数据，并且节点可以彼此通信以分发处理的数据。

发明内容

通常，本公开描述了用于在分布式计算系统中应用分布式流水线(pipeline)模型以使分布式计算系统的处理节点根据具有在流水线语句内指定的执行拓扑的分布式流水线来处理数据以执行任务的技术。例如，计算设备可以接收用于任务的流水线语句。流水线语句包括多个阶段语句，每个阶段语句描述要执行一个或多个操作的集合的对应的阶段。一个或多个阶段语句还为对应的阶段指定拓扑信息。例如，阶段语句可以指定对应的阶段包括要由分布式计算系统的指定的一个或多个处理节点执行的子流水线。阶段语句可以指定被指定的一个或多个处理节点执行子流水线的一个或多个操作。在一些情况下，阶段语句还指定下一阶段，该阶段将接收用于阶段语句的对应的阶段的输出。在一些情况下，流水线语句是人类可读的文本，以允许运算符容易地在阶段内布置操作，并在流水线语句内布置阶段，以指定具有由分布式计算系统执行的任务的总体执行拓扑的分布式流水线。接收流水线语句的计算设备可以是或可以执行分布式计算系统的处理节点中的一个。在这种情况下，该处理节点可以被称为原点。

计算设备处理流水线语句以使分布式计算系统的处理节点根据在流水线语句内指定的执行拓扑来处理数据。例如，计算设备可以向处理节点输出单独的命令、流水线语句中的至少一些、阶段信息、配置数据或其他控制信息，以使节点根据执行拓扑来处理数据。此后，处理节点开始执行用于在阶段内的操作的运算符，并使用诸如标准流(stdin、stdout)或队列的输入/输出信道将运算符绑定在一起。例如，运算符可以是进程，并且绑定在阶段内的运算符可以被称为子流水线。如果阶段语句将下一阶段指定为对应的阶段的最终操作，则执行对应的阶段的一个或多个处理节点可以将该阶段的最终操作绑定到被配置为执行下一阶段的一个或多个处理节点。处理节点之间的多个阶段的绑定操作可以包括在处理节点之间创建通信信道，该通信信道在诸如套接字的网络上操作。从一个阶段到下一阶段的节点间绑定可以使通过该阶段的最终操作输出的数据扇出(即，由一个处理节点输出并由多个处理节点接收)或扇入(即，由多个处理节点输出并由一个处理节点接收)到下一阶段。

在一个示例中，流水线语句可以包括第一阶段和第二阶段，第一阶段指定要由多个处理节点中的每一个处理节点来处理的一个或多个操作，第二阶段指定要由处理节点中的扇入节点(诸如原点)来处理的一个或多个操作。多个处理节点可以为第一阶段生成第一子流水线，第一子流水线绑定第一阶段的运算符以处理数据以执行对应的操作，然后将运算符的结果发送到第二阶段。作为一个示例，每个处理节点可以为其本地运算符编排队列和接口，并生成发送操作以将其本地运算符的结果发送到扇入节点。扇入节点可生成用于第二阶段的第二子流水线，该第二子流水线绑定第二阶段的运算符并接收由多个处理节点输出的第一阶段的操作的结果。作为一个示例，扇入节点可以为其本地运算符编排队列和接口，以首先接收第一阶段的操作的结果，并且还执行其本地运算符以执行第二阶段的操作。