[发明专利]数据处理方法及服务器集群

说明书

技术领域

本公开涉及一种数据处理方法及服务器集群。

背景技术

在大规模计算集群中，经常会遇到不同计算框架加载同一张数据表的业务场景，比如集群内同时存在Impala、Hive、SparkSQL等多种计算框架，不同的计算任务可能都涉及到某一张表数据的加载，每个计算引擎都是各自加载表，这样处理实际上重复加载了相同的数据，导致大量磁盘读写操作，总体性能效果差。

发明内容

本公开的一个方面提供了一种数据处理方法，应用于包括至少两种计算框架的集群计算过程，所述方法包括，当第一计算框架执行针对第一数据表的操作时，判断分布式内存系统中是否存在所述第一数据表对应的数据信息，若不存在，则执行所述针对第一数据表的操作，并将所述第一数据表对应的数据信息同步到所述分布式内存系统中。

可选地，所述方法包括若分布式内存系统中存在所述第一数据表对应的数据信息，则所述第一计算框架从所述分布式内存系统中加载所述第一数据表对应的数据信息。

可选地，将所述第一数据表对应的数据信息同步到所述分布式内存系统中，包括判断所述第一数据表是否属于可能被不同计算框架共用的数据表，所述可能被不同计算框架共用的数据表是基于数据表查询计划的统计数据确定的，若属于，则将所述第一数据表对应的数据信息同步到所述分布式内存系统中。

可选地，所述执行针对第一数据表的操作包括运行针对第一数据表的查询执行计划。

可选地，所述判断分布式内存系统中是否存在所述第一数据表对应的数据信息包括，所述第一计算框架获取其他计算框架同步到所述分布式内存系统的数据表对应的数据信息，其中，所述至少两个计算框架中的每个计算框架的存储类是经过扩展的，以及判断分布式内存系统中是否存在所述第一数据表对应的数据信息。

本公开的另一方面提供了一种服务器集群，包括至少一个处理器，以及至少一个存储器。存储器上存储有计算机可读程序，当所述程序被所述至少一个处理器执行时，使得所述至少一个处理器在第一计算框架执行针对第一数据表的操作的情况下，判断分布式内存系统中是否存在所述第一数据表对应的数据信息，以及在分布式内存系统中不存在所述第一数据表的情况下，执行所述针对第一数据表的操作，并将所述第一数据表同步到所述分布式内存系统中。

可选地，所述至少一个处理器还执行，在分布式内存系统中存在所述第一数据表对应的数据信息的情况下，使所述第一计算框架从所述分布式内存系统中加载所述第一数据表中的数据对应的数据信息。

可选地，所述至少一个处理器执行将所述第一数据表对应的数据信息同步到所述分布式内存系统中，包括，判断所述第一数据表是否属于可能被不同计算框架共用的数据表，所述可能被不同计算框架共用的数据表是基于数据表查询计划的统计数据确定的，以及若属于可能被不同计算框架共用的数据表，则将所述第一数据表对应的数据信息同步到所述分布式内存系统中。

可选地，所述执行针对第一数据表的操作包括运行针对第一数据表的查询执行计划。

可选地，所述至少一个处理器判断分布式内存系统中是否存在所述第一数据表对应的数据信息包括，所述第一计算框架获取其他计算框架同步到所述分布式内存系统的数据表对应的数据信息，其中，所述至少两个计算框架中的每个计算框架的存储类是经过扩展的，以及判断分布式内存系统中是否存在所述第一数据表对应的数据信息。

本公开的另一个方面提供了一种数据处理系统，所述系统包括判断模块和同步模块。判断模块用于当第一计算框架执行针对第一数据表的操作时，判断分布式内存系统中是否存在所述第一数据表对应的数据信息。同步模块用于在不存在的情况下，执行所述针对第一数据表的操作，并将所述第一数据表对应的数据信息同步到所述分布式内存系统中。

可选地，所述系统还包括加载模块，用于在分布式内存系统中存在所述第一数据表对应的数据信息的情况下，使所述第一计算框架从所述分布式内存系统中加载所述第一数据表对应的数据信息。

可选地，所述同步模块包括第一判断子模块和同步子模块。第一判断子模块，用于判断所述第一数据表是否属于所述可能被不同计算框架共用的数据表，所述可能被不同计算框架共用的数据表是基于数据表查询计划的统计数据确定的。同步子模块，用于在属于所述可能被不同计算框架共用的数据表的情况下，将所述第一数据表对应的数据信息同步到所述分布式内存系统中。

可选地，所述执行针对第一数据表的操作包括运行针对第一数据表的查询执行计划。