[发明专利]一种数据处理方法和装置

权利要求书

1.一种数据处理方法，其特征在于，应用于映射Map节点，所述方法包括：

从子数据集中获取多个待处理数据；

对所述多个待处理数据分别进行Map处理，得到多个Map处理结果；

针对得到的每个Map处理结果，不将所述Map处理结果存储到磁盘中，在Map任务处理过程中，将所述Map处理结果发送给对应的归约Reduce节点，以使所述Reduce节点根据Map处理结果进行Reduce处理。

2.根据权利要求1所述的方法，其特征在于，所述将所述Map处理结果发送给对应的归约Reduce节点之前，所述方法还包括：

判断所述Map节点对应的缓冲区内存储的Map处理结果数量是否已经达到预设的数量阈值；

如果所述缓冲区内存储的Map处理结果数量已经达到所述数量阈值，则将所述Map处理结果发送给所述Reduce节点；

如果所述缓冲区内存储的Map处理结果数量未达到所述数量阈值，则将所述Map处理结果写入到所述缓冲区内。

3.根据权利要求1所述的方法，其特征在于，所述将所述Map处理结果发送给对应的归约Reduce节点，具体包括：

从所有Reduce节点中确定用于接收所述Map处理结果的Reduce节点；

在所述Map节点与所述Reduce节点之间建立通信连接；

通过所述通信连接将所述Map处理结果发送给所述Reduce节点。

4.根据权利要求3所述的方法，其特征在于，所述从所有Reduce节点中确定用于接收所述Map处理结果的Reduce节点，具体包括：

从所有Reduce节点中选择一个Reduce节点；

将选择出的Reduce节点确定为用于接收所述Map处理结果的Reduce节点；

或者，

向主Master节点发送节点请求消息；

接收所述Master节点返回的节点响应消息，所述节点响应消息携带所述Master节点从所有Reduce节点中选择的Reduce节点的标识；

将选择出的Reduce节点的标识对应的Reduce节点，确定为用于接收所述Map处理结果的Reduce节点；

或者，

向Master节点发送携带所述Map节点的标识的节点请求消息，以使所述Master节点从所有Reduce节点中选择一个Reduce节点，并将所述Map节点的标识发送给选择出的Reduce节点；

在接收到所述选择出的Reduce节点根据所述Map节点的标识发送的连接消息时，将发送所述连接消息的Reduce节点，确定为用于接收所述Map处理结果的Reduce节点。

5.根据权利要求4所述的方法，其特征在于，所述从所有Reduce节点中选择一个Reduce节点，具体包括：

获取所有Reduce节点中的每个Reduce节点的负载情况；

根据每个Reduce节点的负载情况，从所有Reduce节点中选择负载最轻的一个Reduce节点。

6.一种数据处理装置，其特征在于，应用于映射Map节点，所述装置包括：

获取模块，用于从子数据集中获取多个待处理数据；

处理模块，用于对所述多个待处理数据分别进行Map处理，得到多个Map处理结果；

发送模块，用于针对得到的每个Map处理结果，不将所述Map处理结果存储到磁盘中，在Map任务处理过程中，将所述Map处理结果发送给对应的归约Reduce节点，以使所述Reduce节点根据Map处理结果进行Reduce处理。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

判断模块，用于判断所述Map节点对应的缓冲区内存储的Map处理结果数量是否已经达到预设的数量阈值；

所述发送模块还用于，如果所述缓冲区内存储的Map处理结果数量已经达到所述数量阈值，则将所述Map处理结果发送给所述Reduce节点；

所述装置还包括：写入模块，用于如果所述缓冲区内存储的Map处理结果数量未达到所述数量阈值，则将所述Map处理结果写入到所述缓冲区内。