[发明专利]基于分布式服务器集群的数据计算方法及系统

说明书

一种基于分布式服务器集群的数据计算方法，分布式服务器集群包括任务划分子集群、数据读取子集群以及数据计算子集群；分布式服务器集群中的服务器均为多线程服务器：任务划分子集群中的服务器在接收到计算任务时，分别向数据读取子集群中的服务器并行发起调用；数据读取子集群中的服务器响应任务划分子集群中的服务器发起的调用，从与调用的发起方对应的数据库分表中并行读取待计算数据条目；数据读取子集群中的服务器分别向数据计算子集群中的服务器并行发起调用，将读取到的待计算数据条目下发至数据计算子集群中的服务器，以由数据计算子集群中的服务器基于接收到的待计算数据条目执行多线程的并行计算。本申请可以提升计算性能和效率。

技术领域

本申请涉及通信领域，尤其涉及一种基于分布式服务器集群的数据计算方法及系统。

背景技术

在一些大规模数据计算的场景中，需要进行计算的数据库中包含的数量量通常非常庞大，而单台物理服务器的计算性能通常会存在极限。因此，为了应对单台服务器计算性能上的不足，业界常规的处理方式是，通过引入服务器集群参与并行计算，并对数据库进行分库分表；例如，可以将数据库中存储的数据分拆到不同的数据库和不同的数据库分表中。

然而，这种方式在某种程度上，虽然可以缓解在大规模数据计算的场景下处理性能上的压力，但随着时间和业务的快速发展，各数据库分表中的数据量也会快速累积，因此仍然可能会造成集群在执行数据计算时，系统消耗过大，计算效率低的问题。

发明内容

本申请提出一种基于分布式服务器集群的数据计算方法，所述分布式服务器集群包括任务划分子集群、数据读取子集群以及数据计算子集群；其中，所述分布式服务器集群中的服务器均为多线程服务器，所述方法包括：

任务划分子集群中的服务器在接收到计算任务时，分别向数据读取子集群中的服务器并行发起调用；

数据读取子集群中的服务器响应所述任务划分子集群中的服务器发起的调用，从与所述调用的发起方对应的数据库分表中并行读取预设数量的待计算数据条目；

所述数据读取子集群中的服务器分别向数据计算子集群中的服务器并行发起调用，将读取到的所述预设数量的待计算数据条目提交至所述数据计算子集群中的服务器，以由所述数据计算子集群中的服务器基于接收到的所述待计算数据条目执行多线程的并行计算。

可选的，所述任务划分子集群中的服务器均在本地维护了对应的数据库分表；所述数据库分表包括待计算数据条目以及与所述待计算数据条目对应的计算状态；其中，所述计算状态包括初始状态、待计算状态、计算完成状态以及重算状态。

可选的，所述方法还包括：

所述任务划分子集群中的服务器基于预设策略，动态维护所述数据库分表中各待计算数据条目的计算状态；

其中，所述预设策略包括：

定时将所述数据库分表中的数据条目，设置为初始状态；

当任一数据条目计算完成时，将该数据条目设置为计算完成状态；

当接收到任一数据条目的计算参数或者任一数据条目的计算参数发生更新时，如果该数据条目为初始状态，将该数据条目设置为待计算状态；如果该数据条目为计算完成状态，将该数据条目设置为重算状态。

可选的，所述计算任务包括定时计算任务以及实时计算任务；

所述方法还包括：

所述数据读取子集群中的服务器在从所述数据库分表中读取待计算数据条目时，如果所述计算任务为定时计算任务，优先读取所述待计算状态的数据条目；

所述数据读取子集群中的服务器在从所述数据库分表中读取待计算数据条目时，如果所述计算任务为实时计算任务，优先读取重算状态的数据条目。