[发明专利]基于映射和规约的数据均衡性处理方法、装置及系统

说明书

技术领域

本发明涉及分布式数据计算技术，特别涉及一种基于映射和规约(MapReduce)的数据均衡性处理方法、装置及系统。

背景技术

MapReduce是现有应用于大规模数据处理的一种系统架构，作为一种编程的系统架构，广泛应用于大规模数据集(如大于1TB数据集)的并行运算，例如，大规模分布式过滤、大规模分布排序、Web连接图反转、Web访问日志分析、反向索引构建、文档聚类、机器学习以及基于统计的机器翻译等。在MapReduce系统架构中，数据处理过程分为两个阶段：第一阶段为映射(Map)阶段，对待处理数据进行初始分区，并对初始分区内每一个元素进行计算，输出到规约分区。其中，具有相同键的计算结果存放在同一规约分区；第二阶段为规约(Reduce)阶段，具有相同键的映射计算结果合并形成列表，然后对列表的元素进行适当的合并，得到最终的结果。

MapReduce极大地方便了编程人员在不会分布式并行编程的情况下，将自己编写的程序运行在分布式系统上。

图1为现有基于MapReduce的数据均衡性处理系统结构示意图。以用于运行应用程序在大型廉价硬件设备集群上的框架Hadoop为例，参见图1，该系统包括：客户端(Client)、作业服务器(JobTracker)以及一个或多个任务服务器(TaskTracker)，其中，

本申请中，一次MapReduce计算请求被称为作业。客户端通过客户端程序(Client Program)以及JobTracker提交作业，该作业由JobTracker进行协调，先执行Map阶段，如图1中标识的M1、M2和M3，然后执行Reduce阶段，如图1中标识的R1和R2。Map阶段和Reduce阶段进行的数据处理操作由TaskTracker进行监控，并运行在独立于TaskTracker的进程中。

具体来说，客户端通过Client Program以及JobTracker提交作业，即输入数据(Input Data)，在Map阶段，TaskTracker预先对输入数据进行初始分区，本申请中，输入数据被划分为互不重叠的5个初始分区，包括输入初始分区1(Input Split 1)～输入初始分区5(Input Split 5)，Map通过输入格式(InputFormat)调用，读取输入数据，然后分别由5个映射器(Mapper)分别处理，其中，TaskTracker 1和TaskTracker 3分别包括两个Mapper，TaskTracker 2包括一个Mapper，初始分区1和初始分区4中的数据输入TaskTracker 1中的Mapper，初始分区3和初始分区5中的数据输入TaskTracker 3中的Mapper，初始分区2中的数据输入TaskTracker 2中的Mapper。输入Mapper的数据格式为<key，value>，下面描述中，称之为key1和value1。

Mapper对key1和value1进行处理后，产生以<key，value>格式存在的中间结果(中间数据)，并存入随机存储器(RAM，Random Access Memory)，下面描述中，称之为key2和value2。TaskTracker可以对RAM中存储的中间数据进行合并(Combine)。通过为每一个中间结果调用分区器(Partitioner)函数，指定中间结果的Reduce分区(Partition)，输出中间结果至对应Reduce分区的对应缓冲区，如图1中的Region1和Region2。

Partitioner函数的定义如下：

int getPartition(K2 key，V2 value，int num Partitions)

该函数需要参数key和value，分别是Mapper的输出key2和value2，同时，还有分区数(numPartitions)，即指定的Reduce分区数，在图1所示示例中，包括两个规约器(Reducer)，则该指定的Reduce分区数的值为2，一个Reducer对应一个Reduce分区。