[发明专利]一种数据处理方法、装置和服务器

说明书

技术领域

本申请涉及通信技术领域，更具体地说，涉及一种数据处理方法、装置和服务器。

背景技术

在大数据计算过程中，通常都会存在大量的中间计算结果，这些中间计算结果一般会存储在磁盘中，并在需要利用中间计算结果进行计算时，再从磁盘中读取该计算结果。然而相对于内存而言，磁盘的读写效率较慢，而数据读写效率对大数据计算的计算效率有着很大的影响。

为了提高大数据计算的计算效率，目前提出了内存计算引擎，其主要特点是在进行大数据计算过程中，不再依赖磁盘而是可以将中间计算结果存储在内存，从而大大提高计算效率。然而，当由于服务器物理内存有限，因此，如果内存计算引擎无法从本地获取到足够的内存空间，也必须借助磁盘进行临时数据缓存操作，从而影响到数据计算效率。

发明内容

有鉴于此，本申请提供了一种数据处理方法、装置和服务器，以提高大数据计算的计算效率。

为了实现上述目的，现提出的方案如下：

一种数据处理方法，其特征在于，所述方法包括：

对待处理数据进行计算处理；

将所述计算处理的中间计算结果存储到服务器的本地内存中；

如果检测到所述服务器的本地内存空间不足时，从分布式内存集群中，确定可用的目标内存空间，所述分布式内存集群包括分布于多个服务器中的内存空间；

将所述计算处理中产生的且未存储的中间计算结果存储到所述目标内存空间。

优选的，所述从分布式内存集群中，确定可用的目标内存空间，包括：

向管理所述分布式内存集群的管理服务器发送内存分配请求；

获取所述管理服务器返回的目标内存空间的地址，所述目标内存空间为从所述分布式内存集群中确定出的可用的内存空间。

优选的，所述从分布式内存集群中，确定可用的目标内存空间，包括：

依据管理所述分布式内存集群的管理服务器上报的内存占用情况，从所述分布式内存集群中确定可用的目标内存空间。

优选的，还包括：

接收所述管理服务器在所述分布式内存集群中空闲内存发生变化时所上报的内存占用情况；

存储所述内存占用情况。

优选的，所述将所述计算处理中产生的且未存储的中间计算结果存储到所述目标内存空间，包括：

通过所述目标内存空间所在的服务器提供的访问接口，将所述计算处理中产生的且未存储的中间计算结果存储到所述目标内存空间。

另一方面，本申请实施例还提供了一种服务器，包括：

处理器，用于对待处理数据进行计算处理；

内存储器，用于存储所述处理器进行所述计算处理的中间计算结果；

所述处理器，还用于如果检测到内存储器的空间不足时，从分布式内存集群中，确定可用的目标内存空间，所述分布式内存集群包括分布于多个服务器中的内存空间；

通信接口，用于在所述内存储器的空间不足时，将所述处理器进行所述计算处理中产生的且未存储的中间计算结果存储到所述目标内存空间。

优选的，所述通信接口还用于，向管理所述分布式内存集群的管理服务器发送内存分配请求；获取所述管理服务器返回的内存空间的地址，所述管理服务器返回的内存空间为从所述分布式内存集群中确定出的可用的内存空间；

所述处理器在从分布式内存集群中，确定可用的目标内存空间时，具体用于：将所述管理服务器返回的内存空间的地址确定为所述分布式内存集群中，可用的目标内存空间。

优选的，所述通信接口，还用于获取所述分布式内存集群的管理服务器上报的内存占用情况；

所述处理器在从分布式内存集群中，确定可用的目标内存空间时，具体用于，依据所述管理服务器上报的内存占用情况，从所述分布式内存集群中确定可用的目标内存空间。

优选的，所述通信接口，还用于接收所述管理服务器在所述分布式内存集群中空闲内存发生变化时所上报的内存占用情况；

所述服务器还包括：存储器，用于存储所述内存占用情况。

优选的，所述通信接口在将所述计算处理中产生的且未存储的中间计算结果存储到所述目标内存空间时，具体用于，通过所述目标内存空间所在的服务器提供的访问接口，将所述计算处理中产生的且未存储的中间计算结果存储到所述目标内存空间。

另一方面，本申请实施例还提供了一种数据处理装置，所述装置包括：

数据计算单元，用于对待处理数据进行计算处理；

第一数据存储单元，用于将所述计算处理的中间计算结果存储到服务器的本地内存中；