[发明专利]用于MapReduce的中间结果数据排序方法及系统

说明书

技术领域

本发明涉及云计算技术领域，特别涉及一种用于MapReduce的中间结果数据的排序方法及系统。 

背景技术

当前云计算领域中，MapReduce是其中的一种简单流行但功能强大的编程模型，用于大规模数据集（大于1TB）的并行运算。MapReduce的应用非常广泛，包括：分布grep，分布排序，web连接图反转，每台机器的词矢量，web访问日志分析，反向索引构建，文档聚类，机器学习等。 

MapReduce不要求集群的计算节点是大型机，只要普通机器即可。MapReduce操作的数据是分布在多台机器（节点）上的海量数据，这些数据都存储在一个分布式的文件系统中，文件系统会对外提供对文件进行流式操作的一些接口。MapReduce编程模型的核心思想是分而治之，一个用MapReduce框架编写的作业通常由两部分组成，映射（Map）阶段和化简（Reduce）阶段。这两个阶段的逻辑为： 

Map（映射）阶段：框架执行多个映射任务（map task），从分布式文件系统中读入对应的要处理的数据，使用map函数对每一条数据进行（映射）处理，并将结果按序写入本地磁盘。 

Reduce（化简）阶段：框架执行一个或多个reduce task，通过网络获取所有由Map阶段产生的数据，使用reduce函数对其做进一步（化简）处理，将结果写到分布式文件系统中。 

Map阶段的主体部分是用户自定义的map函数，它的输入为一个域上的(key,value)对，它的输出为另一域上(key,value)对的链表。 

Map(k1,v1)→list(k2,v2) 

map函数会并行地应用于全部输入数据，从而为每个输入(k1,v1)生成一系列(k2,v2)对。Reduce阶段的reduce函数也由用户自定义，MapReduce框架会将所有k2相同的(k2,v2)收集起来形成一组，并将所有组按一定规则分发给reduce进行处理。每个组将被应用Reduce函数，生成0个或多个值。Reduce(k2,list(v2))→list(v3) 

如图2所示，MapTask的输出辅助类都继承自MapOutputCollector，如果Mapper后续有reduce任务，系统会使用MapOutputBuffer这个继承类做为输出。这些输出被称为map的中间结果，这些中间结果可能很大，并且在交给reduce之前，需要进行排序，即每一个map的输出都是事先排好序的，这样交给reduce后reduce才可以在已经排好序的多个map输入基础上多路归并，从而让reduce的输入成为全局有序。在map端的中间结果会临时存放在一个内存buffer中，但是这个内存buffer容量有限，当buffer满了或者用量达到一定阈值就会触发spill过程，把buffer中的数据刷到硬盘上，在硬盘上生成临时的spill0，spill1文件，这些临时文件在写硬盘前需要先在内存中排好序，spill文件本身是一次spill的数据的有序排列。当map过程结束，全部数据都输出以后，mapoutputbuffer会根据硬盘上的spill文件进行多路归并，合成一个有序的最终文件file.out并且生成这个文件对应的索引文件。