[发明专利]分布式数据处理系统、设备及方法

说明书

技术领域

本发明涉及数据处理系统、设备及方法，更具体地，涉及分布式数据处理系统、设备及方法。

背景技术

目前，随着计算机应用的日益广泛以及不同领域的业务种类的日益丰富，通过若干台计算设备协同工作而分布式地进行数据处理变得越来越重要。

现有的分布式数据处理系统及方法通常包括任务管理服务器和至少一个计算节点服务器，其基本工作原理如下：任务管理服务器将计算任务分配到各个计算节点服务器；每个计算节点服务器执行接收到的所述计算任务；单节点服务器完成该计算任务后将计算结果和参数保存在本节点。

然而，现有的分布式数据处理系统及方法存在如下问题：由于每个计算节点服务器均具有管理和计算功能两者，即系统管理和使用者在单节点中建模和计算，故影响计算性能并且不利于计算结果的快速应用，此外，当需要增加计算节点服务器时，需要对新增节点重新配置（例如重新配置数据库、操作系统、参数环境等），故使用繁琐，另外，需要在每个计算节点服务器部署相同数据备份，从而使得资源利用率较低，此外，现有的分布式数据处理系统及方法进一步存在如下问题：单节点计算超时或失败时需要在新的节点上部署相同的计算，从而造成系统计算效率下降，同时，由于每个节点的计算结果存储在各自的节点中，故难于统一管理，另外，由于采用单节点计算的方式，故对每个节点的硬件配置要求较高，从而导致整个系统的成本较高。

因此，存在如下需求：提供具有高的数据处理性能、成本较低并且能够对数据处理结果进行统一管理的分布式数据处理系统、设备及方法。

发明内容

为了解决上述现有技术方案所存在的问题，本发明提出了具有高的数据处理性能、成本较低并且能够对数据处理结果进行统一管理的分布式数据处理系统、设备及方法。

本发明的目的是通过以下技术方案实现的：

一种分布式数据处理系统，所述分布式数据处理系统包括：

任务管理服务器，所述任务管理服务器将至少一个数据处理任务中的每个分配给至少一个计算节点服务器中的一个；

至少一个计算节点服务器，所述至少一个计算节点服务器中的每个执行所述任务管理服务器分配的数据处理任务，并将数据处理结果传送到结果管理服务器；

结果管理服务器，所述结果管理服务器统一管理来自所述至少一个计算节点服务器的数据处理结果；

其中，所述任务管理服务器基于所述至少一个计算节点服务器中的每个的性能等级分配所述至少一个数据处理任务。

在上面所公开的方案中，优选地，所述性能等级包括“繁忙”、“一般”和“不繁忙”。

在上面所公开的方案中，优选地，所述任务管理服务器进一步用于数据分类、参数管理和任务管理，并基于用户的配置确定需要执行的所述至少一个数据处理任务。

在上面所公开的方案中，优选地，所述任务管理服务器基于下列操作分配所述至少一个数据处理任务：与所述至少一个计算节点服务器建立连接；请求所述至少一个计算节点服务器向所述任务管理服务器反馈回其当前的性能等级；所述任务管理服务器基于所述性能等级和/或所述数据分类分配所述至少一个数据处理任务，并根据分配结果将所述至少一个数据处理任务发送到目标计算节点服务器；所述任务管理服务器断开与所述至少一个计算节点服务器的连接。

5．根据权利要求4所述的分布式数据处理系统，其特征在于，所述至少一个计算节点服务器中的每个在启动后执行下列操作：在接收到来自所述任务管理服务器的数据处理任务后进入任务执行状态中；与所述结果管理服务器建立连接，并将当前任务信息和任务执行开始时间传送到所述结果管理服务器；执行所述数据处理任务，并将所述数据处理任务执行完成后得到的结果参数和任务执行结束时间传送到所述结果管理服务器。

在上面所公开的方案中，优选地，如果执行数据处理任务超时，则所述至少一个计算节点服务器中的每个执行下列操作：向所述任务管理服务器1返回任务执行超时信息，并将当前数据处理任务发送到另一计算节点服务器以使该数据处理任务继续被执行。

在上面所公开的方案中，优选地，如果数据处理任务的执行过程异常结束，则所述至少一个计算节点服务器中的每个执行下列操作：将任务执行失败信息分别传送到所述任务管理服务器和所述结果管理服务器，并将当前数据处理任务发送到另一计算节点服务器以使该数据处理任务继续被执行。