[发明专利]数据处理方法及服务器集群

权利要求书

1.一种数据处理方法，应用于包括至少两种计算框架的集群计算过程，所述方法包括：

当第一计算框架执行针对第一数据表的操作时，判断分布式内存系统中是否存在所述第一数据表对应的数据信息；以及

若不存在，则执行所述针对第一数据表的操作，并将所述第一数据表对应的数据信息同步到所述分布式内存系统中。

2.根据权利要求1所述的方法，还包括：

若分布式内存系统中存在所述第一数据表对应的数据信息，则所述第一计算框架从所述分布式内存系统中加载所述第一数据表对应的数据信息。

3.根据权利要求1所述的方法，其中，所述将所述第一数据表对应的数据信息同步到所述分布式内存系统中，包括：

判断所述第一数据表是否属于可能被不同计算框架共用的数据表，所述可能被不同计算框架共用的数据表是基于数据表查询计划的统计数据确定的；以及

若属于，则将所述第一数据表对应的数据信息同步到所述分布式内存系统中。

4.根据权利要求1所述的方法，其中，所述执行针对第一数据表的操作包括：

运行针对第一数据表的查询执行计划。

5.根据权利要求1所述的方法，其中，所述判断分布式内存系统中是否存在所述第一数据表对应的数据信息，包括：

所述第一计算框架获取其他计算框架同步到所述分布式内存系统的数据表对应的数据信息，其中，所述至少两个计算框架中的每个计算框架的存储类是经过扩展的；以及

判断分布式内存系统中是否存在所述第一数据表对应的数据信息。

6.一种服务器集群，包括：

至少一个处理器；以及

至少一个存储器，其上存储有计算机可读程序，当所述程序被所述至少一个处理器执行时，使得所述至少一个处理器：

在第一计算框架执行针对第一数据表的操作的情况下，判断分布式内存系统中是否存在所述第一数据表对应的数据信息；以及

在分布式内存系统中不存在所述第一数据表的情况下，执行所述针对第一数据表的操作，并将所述第一数据表同步到所述分布式内存系统中。

7.根据权利要求6所述的服务器集群，所述至少一个处理器还执行：

在分布式内存系统中存在所述第一数据表对应的数据信息的情况下，使所述第一计算框架从所述分布式内存系统中加载所述第一数据表中的数据对应的数据信息。

8.根据权利要求6所述的服务器集群，所述至少一个处理器执行将所述第一数据表对应的数据信息同步到所述分布式内存系统中，包括：

判断所述第一数据表是否属于可能被不同计算框架共用的数据表，所述可能被不同计算框架共用的数据表是基于数据表查询计划的统计数据确定的；以及

若属于，则将所述第一数据表对应的数据信息同步到所述分布式内存系统中。

9.根据权利要求6所述的服务器集群，其中，所述至少一个处理器执行针对第一数据表的操作包括：

运行针对第一数据表的查询执行计划。

10.根据权利要求6所述的服务器集群，其中，所述至少一个处理器判断分布式内存系统中是否存在所述第一数据表对应的数据信息，包括：

所述第一计算框架获取其他计算框架同步到所述分布式内存系统的数据表对应的数据信息，其中，所述至少两个计算框架中的每个计算框架的存储类是经过扩展的；以及

判断分布式内存系统中是否存在所述第一数据表对应的数据信息。