[发明专利]用于数据处理的分布式计算系统和方法以及存储介质

权利要求书

1.一种用于数据处理的分布式计算系统，包括：

多个计算设备，被配置为获得流水线语句，所述流水线语句包括第一阶段语句，所述第一阶段语句限定第一阶段以包括第一子流水线并且将第二阶段指定为所述第一子流水线的结果数据的接收方，所述流水线语句还包括第二阶段语句，所述第二阶段语句限定所述第二阶段以包括第二子流水线，

其中，所述多个计算设备包括第一处理节点，所述第一处理节点被配置为至少基于通过处理所述流水线语句生成的第一流水线设置规范，配置所述第一处理节点中的所述第一子流水线，以将所述第一处理节点中的所述第一子流水线的结果数据发送到第二处理节点，以及

其中，所述多个计算设备包括所述第二处理节点，所述第二处理节点被配置为至少基于通过处理所述流水线语句生成的第二流水线设置规范，配置所述第二处理节点中的所述第二子流水线，并将所述第一处理节点中的所述第一子流水线的结果数据输入到所述第二处理节点中的所述第二子流水线。

2.根据权利要求1所述的分布式计算系统，

其中，所述第一子流水线包括一个或多个第一操作，以及

其中，所述第二子流水线包括一个或多个第二操作。

3.根据权利要求1所述的分布式计算系统，还包括：

编译器计算设备，被配置为处理所述流水线语句以生成所述第一流水线设置规范和所述第二流水线设置规范。

4.根据权利要求3所述的分布式计算系统，其中，所述编译器计算设备包括所述第二处理节点。

5.根据权利要求1所述的分布式计算系统，其中，所述流水线语句包括人类可读的文本。

6.根据权利要求1-5中任一项所述的分布式计算系统，

其中，所述第二阶段语句包括用于所述第二阶段的阶段标识符，以及

其中，为了将第二阶段指定为所述第一子流水线的结果数据的接收方，所述第一阶段语句包括作为所述第一子流水线的操作的所述第二阶段的所述阶段标识符，以及

其中，所述分布式计算系统被配置为基于在所述第一阶段语句中包括的所述第二阶段的所述阶段标识符，生成所述第一流水线设置规范，以配置所述第一处理节点中的所述第一子流水线，以将所述第一处理节点中的所述第一子流水线的结果数据发送到所述第二处理节点。

7.根据权利要求1、2或5中任一项所述的分布式计算系统，

其中，所述多个计算设备包括编译器计算设备，所述编译器计算设备被配置为获得所述流水线语句并处理所述流水线语句以生成所述第一流水线设置规范和所述第二流水线设置规范。

8.根据权利要求7所述的分布式计算系统，其中，所述编译器计算设备包括所述第二处理节点。

9.根据权利要求1-5中任一项所述的分布式计算系统，

其中，所述第一子流水线包括一个或多个第一操作，以及

其中，为了配置所述第一子流水线，所述第一处理节点被配置为实例化用于所述一个或多个第一操作的相应的运算符，并且使用输入/输出信道绑定至少一对所述运算符。

10.根据权利要求1-5中任一项所述的分布式计算系统，

其中，所述第一子流水线包括一个或多个第一操作，

其中，为了配置所述第一子流水线，所述第一处理节点被配置为实例化用于所述一个或多个第一操作的相应的运算符，以及

其中，所述运算符的最终运算符包括发送运算符，用于经由通信信道将所述第一子流水线的结果数据发送到所述第二处理节点。

11.根据权利要求1-5中任一项所述的分布式计算系统，还包括：

第三处理节点，被配置为至少基于从所述流水线语句生成的第三流水线设置规范，配置所述第三处理节点中的所述第一子流水线，以将所述第三处理节点中的所述第一子流水线的结果数据发送到所述第二处理节点。