[发明专利]一种基于MapReduce的数据处理方法、装置、设备及介质

权利要求书

1.一种基于MapReduce的数据处理方法，其特征在于，包括：

对待处理数据进行抽样，得到样本数据；

利用所述样本数据中key的频次以及Reduce节点的数量确定出目标均值；

利用所述目标均值、所述key的频次以及所述Reduce节点的当前负载确定出所述key与所述Reduce节点的分配对应关系；

利用所述分配对应关系将所述key对应的所述待处理数据分配至对应的所述Reduce节点，以便所述Reduce节点进行相应的数据处理。

2.根据所述根据权利要求1所述的基于MapReduce的数据处理方法，其特征在于，所述对待处理数据进行抽样，得到样本数据，包括：

对待处理数据进行等距抽样，得到样本数据。

3.根据权利要求1所述的基于MapReduce的数据处理方法，其特征在于，所述对待处理数据进行抽样，得到样本数据，包括：

对待处理数据进行map处理；

对map处理后的所述待处理数据进行抽样，得到所述样本数据。

4.根据权利要求1所述的基于MapReduce的数据处理方法，其特征在于，所述利用所述样本数据中key的频次以及Reduce节点的数量确定出目标均值，包括：

确定所述样本数据中全部key对应的频次和；

利用所述频次和以及Reduce节点的数量确定出目标均值。

5.根据权利要求1所述的基于MapReduce的数据处理方法，其特征在于，所述利用所述目标均值、所述key的频次以及所述Reduce节点的当前负载确定出所述key与所述Reduce节点的分配对应关系，包括：

将所述样本数据中的key按照频次从小到大排序存放进队列；

步骤A：启动对所述队列的第一次遍历；

步骤B：当遍历出频次大于所述目标均值的key，步骤B1:查找当前负载值为0的所述Reduce节点，步骤B2：建立当前key与查找出的当前Reduce节点的所述分配对应关系，并对当前Reduce节点对应的负载值进行对应修改，步骤B3：将当前key的频次减去所述目标均值，步骤B4：判断减去所述目标均值的key的频次是否大于所述目标均值，若是，则跳转至所述步骤B1，若否，则判断当前key的频次是否为0，若当前key的频次不为0，则将当前key重新按照频次插入所述队列；继续所述第一次遍历，并执行所述步骤B，直至所述第一次遍历结束；

步骤C：步骤C1：查找通过所述步骤A和所述步骤B没有与所述key建立所述分配对应关系的所述Reduce节点，步骤C2：启动对所述队列从后至前的第二次遍历，步骤C3：确定出当前遍历出的key的频次与查找出的当前Reduce节点的当前负载值的和值，步骤C4：判断所述和值是否大于所述目标均值，若所述和值小于等于所述目标均值，则建立当前key与当前Reduce节点的所述分配对应关系，并将当前key从所述队列中删除，以及对当前Reduce节点对应的负载值进行对应修改，然后继续所述第二次遍历，并执行所述步骤C3和所述步骤C4，直至所述第二次遍历结束，若所述和值大于所述目标均值，则继续进行所述第二次遍历，并执行所述步骤C3和所述步骤C4，直至所述第二次遍历结束；

重复执行所述步骤C，直至通过所述步骤A和所述步骤B没有与所述key建立所述分配对应关系的全部所述Reduce节点处理完成。

6.根据权利要求1所述的基于MapReduce的数据处理方法，其特征在于，所述利用所述分配对应关系将所述key对应的所述待处理数据分配至对应的所述Reduce节点，以便所述Reduce节点进行相应的数据处理，包括：

利用所述分配对应关系将所述key对应的所述待处理数据分配至对应的所述Reduce节点，若所述key与多个所述Reduce节点存在所述分配对应关系，则按照建立所述分配对应关系时的待分配到所述Reduce节点的所述key的比例关系将所述key对应的所述待处理数据分配至对应的所述Reduce节点。