[发明专利]基于内存的MapReduce引擎数据处理方法和装置

说明书

本发明揭示了一种基于内存的MapReduce引擎数据处理方法和装置，其中方法包括：将每个分区的Map输出结果数据进行粒度切割，并将切割后的粒度进行排序；将每个分区切割后的粒度进行多批次shuffle,并将各批次的数据依次进行拷贝、合并和reduce的流水线式数据处理，将reduce进程处理的数据控制在内存中。本发明通过纯软件方式对MapReduce的reduce进程进行流水线化设计，极大地减少了IO的访问与延迟；还可以根据可用内存的多少来调节并发批次的数目，从而提高了mapreduce引擎的吞吐量与整体性能，实测结果是原来的1.6倍‑2倍以上。

技术领域

本发明涉及到MapReduce引擎数据处理领域，特别是涉及到一种基于内存的MapReduce引擎数据处理方法和装置。

背景技术

自大数据处理技术Hadoop问世以来，其中的数据处理引擎MapReduce性能的优化一直是业界比较关心的问题。

以reduce为例，每个Map输出文件(MOF)中的整个分区(partition，P1)会被拷贝到Reduce端，然后所有分区(P1，P1，P1)会合并成为一个有序的总的集合(P1)，最后做Reduce，由于数据量的不可控，上述拷贝环节内存溢出不可避免，随后合并及进行Reduce过程中也会产生更多硬盘IO的访问。

目前业界在MapReduce中减少IO的方法主要是用压缩(compression)与结合(combination)，基于内存的mapreduce就是mellanox公司的UDA(UnstructuredDataAccelerator)做过流水线化(Pipelining)的尝试，但是它主要是基于硬件的加速技术，而且由于shuffle协议的设计限制，每个批次只shuffle少量数据，没有实现大吞吐量。

发明内容

本发明的主要目的为提供一种通过软件实现的数据大吞吐量的基于内存的MapReduce引擎数据处理方法和装置。

为了实现上述发明目的，本发明首先提出一种基于内存的MapReduce引擎数据处理方法，包括：

将每个分区的Map输出结果数据进行粒度切割，并将切割后的粒度进行排序；

将每个分区切割后的粒度进行多批次shuffle,并将各批次的数据依次进行拷贝、合并和reduce的流水线式数据处理，将reduce进程处理的数据控制在内存中。

进一步地，所述将每个分区切割后的粒度进行多批次shuffle,并将各批次的数据依次进行拷贝、合并和reduce的流水线式数据处理，将reduce进程处理的数据控制在内存中的步骤，包括：

Reduce进程的每个处理过程为自主运行的子线程，各子线程之间通过共享的先进先出异步的消息队列进行通信。

进一步地，所述将每个分区切割后的粒度进行多批次shuffle,并将各批次的数据依次进行拷贝、合并和reduce的流水线式数据处理，将reduce进程处理的数据控制在内存中的步骤，包括：

所述流水线式数据处理多批次并发运行，根据可用内存的大小除以每个批次配置的内存大小控制并发的批次数。

进一步地，所述将每个分区的Map输出结果数据进行粒度切割，并将切割后的粒度进行排序的步骤之前，包括：

通过所述流水线式处理指定批次数据后，同步所有reduce一次；

所述将每个分区的Map输出结果数据进行粒度切割，并将切割后的粒度进行排序的步骤之后，包括：

按相对bucket ID排序来存MOF文件，相应地按同样顺序来预缓存。