[发明专利]一种数据处理方法和装置

说明书

本申请提供一种数据处理方法和装置，该方法包括：从子数据集中获取多个待处理数据；对所述多个待处理数据分别进行Map处理，得到多个Map处理结果；针对得到的每个Map处理结果，将所述Map处理结果发送给对应的Reduce节点，以使所述Reduce节点根据Map处理结果进行Reduce处理。通过本申请的技术方案，Map节点得到Map处理结果后，将Map处理结果发送给Reduce节点，不需要将Map处理结果写入到磁盘，不需要从磁盘中读取所有的Map处理结果，提高Map节点的处理性能和运行效率，减少磁盘IO的消耗。

技术领域

本申请涉及通信技术领域，尤其涉及一种数据处理方法和装置。

背景技术

随着计算机技术的发展，计算机需要处理的数据量也越来越大，单台计算机已经不能处理一些大规模数据，为此需要将多台计算机联合起来，构成计算机群，并行处理大规模数据。为了将多台计算机联合起来，并行处理大规模数据，当前提出一种并行处理大规模数据的系统，即映射归约(MapReduce)系统，MapReduce系统可以对大规模数据集进行并行处理，是分布式计算框架。

在对数据集进行并行处理时，将数据集分解为多个子数据集，每个映射(Map)节点对应一个或多个子数据集。Map节点读取自身对应子数据集中的数据，对读取的数据进行Map处理，得到Map处理结果，并将Map处理结果写入到缓冲区。

由于缓冲区具有存储空间限制，因此，当所述缓冲区达到该限制时，Map节点在得到Map处理结果后，不再将Map处理结果写入到缓冲区，而是将Map处理结果写入到磁盘。在任务完成后，Map节点读取磁盘中的所有Map处理结果，将读取的所有Map处理结果提供给归约(Reduce)节点。Reduce节点根据Map节点提供的Map处理结果、缓冲区中的Map处理结果进行Reduce处理。

但是，Map节点将Map处理结果写入到磁盘、Map节点从磁盘中读取所有Map处理结果的操作，会影响Map节点的处理性能，造成磁盘输入输出(InputOutput，简称：IO)的消耗，尤其是向磁盘写入大量Map处理结果，从磁盘中读取大量Map处理结果时，会严重降低Map节点的处理性能，影响业务体验。

发明内容

有鉴于此，本申请提供一种数据处理方法和装置，用以提高Map节点的处理性能，减少磁盘IO的消耗，提高Map节点的运行效率，提高业务体验。

在第一方面，本申请提供一种数据处理方法，应用于Map节点，所述方法包括：

从子数据集中获取多个待处理数据；

对所述多个待处理数据分别进行Map处理，得到多个Map处理结果；

针对得到的每个Map处理结果，将所述Map处理结果发送给对应的Reduce节点，以使所述Reduce节点根据Map处理结果进行Reduce处理。

结合第一方面，在第一种可能的实现方式中，所述将所述Map处理结果发送给对应的Reduce节点之前，所述方法还包括：

判断所述Map节点对应的缓冲区内存储的Map处理结果数量是否已经达到预设的数量阈值；

如果所述缓冲区内存储的Map处理结果数量已经达到所述数量阈值，则将所述Map处理结果发送给所述Reduce节点；

如果所述缓冲区内存储的Map处理结果数量未达到所述数量阈值，则将所述Map处理结果写入到所述缓冲区内。

结合第一方面，在第二种可能的实现方式中，所述将所述Map处理结果发送给对应的Reduce节点，具体包括：

从所有Reduce节点中确定用于接收所述Map处理结果的Reduce节点；

在所述Map节点与所述Reduce节点之间建立通信连接；