[发明专利]一种MapReduce系统

权利要求书

1.一种映射化简MapReduce系统，其特征在于，包括映射Map节点、混洗Shuffle节点和化简Reduce节点；

所述Reduce节点，用于向所述Shuffle节点发送读写请求，所述读写请求中携带有Map节点标识信息以及Reduce节点标识信息；

所述Shuffle节点，用于根据从所述Reduce节点接收到的所述读写请求中的所述Map节点标识信息，将所述读写请求发送给所述Map节点标识信息对应的Map节点；

所述Map节点，用于根据从所述Shuffle节点接收到的所述读写请求中的所述Reduce节点标识信息和预设的Reduce节点与目标数据的对应关系，获得所述读写请求对应的目标数据，并将所述目标数据返回给所述Shuffle节点，以供所述Shuffle节点将所述目标数据返回给发送所述读写请求的Reduce节点。

2.根据权利要求1所述的MapReduce系统，其特征在于，所述Map节点具体用于：

将从一个或多个Shuffle节点分别接收到的读写请求，放入缓存队列中；

根据各读写请求对应的目标数据的存储位置，对所述缓存队列中的各读写请求进行排序，获得读取次序；

根据所述读取次序，将各目标数据分别通过发送对应读写请求的Shuffle节点返回给相应的Reduce节点。

3.根据权利要求2所述的MapReduce系统，其特征在于，所述Map节点根据所述读取次序，将各目标数据分别通过发送对应读写请求的Shuffle节点返回给相应的Reduce节点具体为：

所述Map节点根据所述读取次序，将等待时间小于或等于时间阈值的读写请求对应的目标数据，分别通过发送对应的读写请求的Shuffle节点返回给相应的Reduce节点。

4.根据权利要求1所述的MapReduce系统，其特征在于，所述MapReduce系统还包括:

Master节点，用于对所述Map节点、所述Shuffle节点和所述Reduce进行控制。

5.根据权利要求4所述的MapReduce系统，其特征在于，所述Master节点还用于：

在所述Reduce节点所属计算机的系统资源占用率大于或等于预设占用率阈值时，控制所述Reduce节点进入等待工作状态，直至所述系统资源占用率小于所述占用率阈值或者预设等待的时间长度结束时，恢复所述Reduce节点为工作状态。

6.根据权利要求1所述的MapReduce系统，其特征在于，所述Shuffle节点与多个Reduce节点连接。

7.根据权利要求6所述的MapReduce系统，其特征在于，所述Shuffle节点还用于：

周期性地将从各Reduce节点接收到的读写请求中携带有相同的Map节点标识信息的多个读写请求，封装为一条读写请求，并将封装后的读写请求发送给所述相同的Map节点标识信息对应的Map节点。

8.根据权利要求1-7中任一所述的MapReduce系统，其特征在于，所述Shuffle节点还用于：在所述MapReduce系统接收到待执行的MapReduce作业之后，启动进入工作状态，直至所述MapReduce作业执行完毕。