[发明专利]分布式并行计算方法、装置及系统

说明书

技术领域

本发明涉及分布式计算领域，特别涉及一种分布式并行计算方法、装置及系统。

背景技术

随着信息量的爆炸式增长，以及任务的复杂性不断的提高，对于复杂的任务处理已经不能单单靠提高服务器性能得以解决。通常情况下，一个复杂的任务会包括多个执行步骤，在任务处理时应用多种计算资源，例如中央处理器(CPU)、内存、网络输入/输出系统和硬盘输入/输出系统等，为了解决服务器处理能力有限的问题，目前一般采用的并行计算技术是将待处理任务静态地或者动态地分配到任务处理器中去处理。如果有多个复杂的任务，通常做法是为这些任务分配多个进程或者线程来处理，我们把处理整个任务的进程或者线程定义为任务处理器(Task Processor)。

图1为现有技术中多个任务处理器并行处理多个待处理任务的示意图。如图1所示，任务处理器集合(Task Processor Group)中包括多个任务处理器，其中，每个任务处理器集合中包括的任务处理器的个数可以是固定的，也可以是可变的，通过调整任务处理器集合中包括的任务处理器的个数来控制待处理任务的执行速度。如图1所示，每一个任务处理器处理一个固定的待处理任务，多个任务处理器可以并行地处理多个待处理任务，当一个任务处理器在处理一个具体的待处理任务时，对于所述待处理任务中包括的所有执行步骤，任务处理器则按照预先定义好的执行顺序，串行地处理所述待处理任务中的每个执行步骤。在这种处理方式中，当任务处理器集合中的任务处理器的个数发生变化时，会涉及到待处理任务中所有的执行步骤的资源使用情况，从而导致系统资源的浪费，同时也缩小了资源可调整的空间。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

现有的并行计算技术是将待处理任务静态地或者动态地分配到任务处理器中去处理，任务处理效率较低，而且计算资源不能得到合理分配。

发明内容

有鉴于此，本发明的主要目的在于提供两种分布式并行计算方法，能够提高任务处理效率，而且能够使得计算资源得到合理分配。

本发明的另一目的在于提供两种并行计算装置，能够提高任务处理效率，而且能够使得计算资源得到合理分配。

本发明的又一目的在于提供一种并行计算系统，能够提高任务处理效率，而且能够使得计算资源得到合理分配。

为达到上述目的，本发明的技术方案是这样实现的：

一种分布式并行计算方法，该方法包括：

接收两个以上步骤处理器发送的步骤请求消息，所述步骤请求消息用于请求待处理任务中的待处理执行步骤，并且，所述步骤请求消息中包括所述步骤处理器的步骤处理类型；

如果所述步骤处理类型对应的执行步骤依赖于所述待处理任务中的已处理执行步骤，向所述步骤处理器发送步骤响应消息，所述步骤响应消息中包括所述待处理执行步骤以及所述待处理执行步骤的唯一标识；

接收所述步骤处理器发送的所述待处理执行步骤的步骤处理结果，所述步骤处理结果中包括所述待处理执行步骤的唯一标识；

根据所述步骤处理结果，生成所述待处理任务的任务处理结果。

一种分布式并行计算方法，包括：

向执行端任务容器发送步骤请求消息，所述步骤请求消息用于请求待处理任务中的待处理执行步骤，并且，所述步骤请求消息中包括步骤处理类型；

接收所述执行端任务容器回复的步骤响应消息，所述步骤响应消息中包括所述待处理执行步骤以及所述待处理执行步骤的唯一标识；

处理所述待处理执行步骤，得到所述待处理执行步骤的步骤处理结果；

将所述步骤处理结果发送给所述执行端任务容器。

一种执行端任务容器，包括：

第一接收单元，用于接收两个以上步骤处理器发送的步骤请求消息，所述步骤请求消息用于请求待处理任务中的待处理执行步骤，并且，所述步骤请求消息中包括所述步骤处理器的步骤处理类型，所述第一接收单元在接收到所述步骤请求消息之后，将所述步骤请求消息发送给判断单元；

所述判断单元，用于判断所述步骤处理类型对应的执行步骤是否依赖于所述待处理任务中的已处理执行步骤，如果所述步骤处理类型对应的执行步骤依赖于所述待处理任务中的已处理执行步骤，则向第一发送单元发送一个发送指令；

所述第一发送单元，用于在接收到所述发送指令之后，向所述步骤处理器发送步骤响应消息，所述步骤响应消息中包括所述待处理执行步骤以及所述待处理执行步骤的唯一标识；