[发明专利]分布式计算方法、装置和系统

说明书

技术领域

本发明涉及数据处理领域，具体而言，涉及一种分布式计算方法、装置和系统。

背景技术

在对海量数据做一些聚合分析时，通常采用分布式计算先将数据分发到不同的计算机节点上去计算，然后各计算机节点将计算得到的计算结果汇总，得到最终的计算结果。其中，分布式计算是把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机节点进行平行处理，最终把这些计算结果综合起来得到最终的结果。在进行分布式计算过程中，如何将海量的数据分发到各计算机节点，以及将各计算机节点的计算结果汇总都是在做分布式计算的一大难点。

现有技术中可使用Map/Reduce方法实现分布式计算。Map/Reduce是一个将大型分布式计算表达为一个对数据键/值对集合进行串行化分布式操作的编程模型。但是，Map/Reduce通常应用在hadoop系统中，其开源社区并没有提供可用于数据实时分析的框架，需要自行开发一个类似Map/Reduce实时分析框架，开发量大。发明人发现，在计算过程中，各计算机节点之间还需要进行数据交互，计算过程复杂，增加计算机节点的开销，导致分布式计算系统的性能降低。

针对现有技术中分布式计算系统的性能低的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种分布式计算方法和装置，以解决现有技术中分布式计算系统的性能低的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种分布式计算方法。根据本发明的分布式计算方法包括：获取计算机节点接收到的聚合数据，其中，聚合数据为用于聚合操作的数据；将聚合数据存入至少一个key-value数据库；在至少一个key-value数据库中对聚合数据进行计算，得到计算结果；将计算结果返回给计算机节点。

为了实现上述目的，根据本发明的另一方面，提供了一种分布式计算装置。根据本发明的分布式计算装置包括：第一获取单元，用于获取计算机节点接收到的聚合数据，其中，聚合数据为用于聚合操作的数据；存入单元，用于将聚合数据存入至少一个key-value数据库；第一计算单元，用于在至少一个key-value数据库中对聚合数据进行计算，得到计算结果；返回单元，用于将计算结果返回给计算机节点。

为了实现上述目的，根据本发明的另一方面，提供了一种分布式计算系统。根据本发明的分布式计算系统包括：计算机节点，用于接收聚合数据，聚合数据为用于聚合操作的数据；路由器；至少一个key-value数据库，经由路由器与计算机节点相连接，用于经由路由器获取计算机节点接收到的聚合数据；存储聚合数据；对聚合数据进行计算，得到计算结果；并将计算结果返回给计算机节点。

通过本发明实施例，将需要进行聚合操作的聚合数据存入至少一个key-value数据库，在至少一个key-value数据库中对聚合数据进行计算，并将计算结果共享，各计算机节点之间无需进行数据交互，从而避免了由于计算机节点之间需要进行数据交互导致分布式计算过程过于复杂的情况，解决了分布式计算系统的性能低的问题，达到了提高分布式计算系统的性能。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明第一实施例的分布式计算方法的流程图；

图2是根据本发明第二实施例的分布式计算方法的流程图；

图3是根据本发明第一实施例的分布式计算装置的示意图；

图4是根据本发明第二实施例的分布式计算装置的示意图；以及

图5是根据本发明实施例的分布式计算系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。