[发明专利]一种数据运算方法及装置

说明书

本发明实施例公开了一种数据运算方法，包括：确定各个服务器对应的数据量；根据目标服务器对应的数据量，判断该目标服务器是否存在数据偏斜；若是，则将目标服务器对应的数据复制到无数据偏斜的冗余服务器，并修改路由信息；当接收到针对目标数据键值的数据运算信息，并根据修改后的路由信息确定该目标数据键值所在服务器为目标服务器以及对应的冗余服务器时，为目标服务器以及对应的冗余服务器分配待处理数据，以使目标服务器以及对应的冗余服务器根据数据运算信息分别对不同的数据进行运算。相应地，本发明实施例还公开了一种数据运算装置。采用本发明实施例，实现了集群数据重分布时偏斜数据的自动复制，提高了集群数据的运算效率。

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种数据运算方法及装置。

背景技术

随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展，数据库应用已经普遍建立于计算机网络之上。其中，集中式数据库采用集中式处理，通信开销较大，处理效率低，并且，应用程序集中在同一台计算机上运行，一旦该计算机出现故障，则整个系统将会受到影响。因此，在集中式数据库的基础上提出了分布式数据库，相对于集中式数据库而言，分布式数据库可以根据不同的分布需求将数据存储于不同服务器中，即不同计算机的存储设备中。

在分布式数据库中，因为数据分布的不规律性以及路由算法的局限性，常常会造成各个服务器上的数据量不平衡，即某些服务器上的数据量比其他服务器上的数据量多很多，形成了数据偏斜现象，其中，数据量用于表示服务器存储的数据的多少。例如，分布式数据库的数据进行重分布时，即将分布式数据库中的数据根据其他的分布方法分布到对应的服务器中，路由规则是按照手机用户号码号段进行分布，但是，根据号码号段启用时间的不同，各个号码号段内用户的数量也有差异，如存储新启用号码号段数据的服务器的数据量比其他服务器上的数据量少很多。

因此，当各个服务器对自身存储的数据进行运算时，数据量较多的服务器明显比数据量较少的服务器的负担大，降低了集群运算的效率。例如，分布式数据库存在A、B、C、D四个服务器，在对集群数据进行重分布之后，假设A服务器存储了10万数据，B服务器存储了1万数据，C服务器存储了20万数据，D服务器存储了11万数据，当各个服务器针对自身的数据进行运算时，C服务器的负担明显大于B服务器的负担。

发明内容

本发明实施例提供了一种数据运算方法及装置，可以实现集群数据重分布时偏斜数据自动复制，提高集群数据运算效率。

本发明实施例第一方面提供了一种数据运算方法，所述数据运算方法应用于分布式数据库，其中，所述分布式数据库包括多个服务器，所述方法包括：

根据所统计的预设分布键的各个数据键值对应的数据量以及路由信息中所述各个数据键值与服务器的对应关系，确定各个服务器对应的数据量；

根据目标服务器对应的数据量，判断该目标服务器是否存在数据偏斜；

若所述目标服务器存在数据偏斜，则将所述目标服务器对应的数据复制到无数据偏斜的冗余服务器，并修改所述路由信息，使所述目标服务器对应的数据键值与所述目标服务器及冗余服务器建立对应关系，其中，所述目标服务器对应至少一个数据键值；

当接收到针对目标数据键值的数据运算信息，并根据修改后的路由信息确定该目标数据键值所在服务器为目标服务器以及对应的冗余服务器时，为所述目标服务器以及对应的冗余服务器分配待处理数据，以使所述目标服务器以及对应的冗余服务器根据所述数据运算信息分别对不同的数据进行运算。

在第一种可能的实现方式中，所述根据目标服务器对应的数据量，判断该目标服务器是否存在数据偏斜包括：

将目标服务器对应的数据量与其他服务器对应的数据量进行比较；

若目标服务器对应的数据量与任意一个服务器的数据量的差值达到预设阈值，则判断所述目标服务器存在数据偏斜。