[发明专利]一种基于管道通信的MapReduce编程框架运算方法

说明书

技术领域

本发明涉及云计算领域，具体说是一种云计算环境下基于管道通信的MapReduce编程框架运算方法。

背景技术

自从2007年IBM和Google联合推出云计算以来，云计算已经成为工业界和学术界都关注的热点问题，云计算已成为分布式计算未来发展方向。

由Google提出的MapReduce编程框架是云计算中的代表性技术，它适用于分布式处理大规模数据集，程序员在Map函数中指定对各分块数据的处理过程，在Reduce函数中指定如何对分块数据处理的中间结果进行规约。

传统MapReduce编程框架存在如下问题：（1）传统MapReduce编程框架将中间结果保存到分布式文件系统（DFS, Distributed File System），每个文件在DFS上往往存在多个拷贝，因此，保存中间结果的存储空间维护代价高、效率低；（2）在传统MapReduce编程框架下，Map任务和Reduce任务串行执行，而且它们都需要从DFS上读取输入文件，这些因素都延长了作业的执行时间。

发明内容

本发明的目的是提供一种基于管道通信的MapReduce编程框架，通过在Map任务和Reduce任务之间添加通信管道，使Map任务和Reduce任务所产生的中间结果无需保存到DFS，而直接通过管道进行数据交换。而且，Map任务和Reduce任务能同步交换数据，使Map任务和Reduce任务能并行执行。本发明能节省DFS维护代价，大幅度缩短作业的执行时间，且具备健壮的容错性。

本发明的目的是通过以下技术方案来实现的：

一种基于管道通信的MapReduce编程框架运算方法，其特征在于该运算方法利用SOCKET编程在Map任务和Reduce任务之间实现管道通信，具体步骤如下：

1）Map任务初始化时打开SOCKET与Reduce任务建立通信管道，Map任务开始执行后，边执行边将输出的中间结果通过管道发给Reduce任务；Reduce任务同步接收来自于Map任务的数据，将这些数据存储到内存缓冲区中，Reduce在收到的部分数据的情况下，一旦满足其执行条件，Reduce基于部分输入数据开始执行；此时，Map任务尚未完成，Map任务和Reduce任务并行化执行；

2）当所有Map任务都执行完毕时，Reduce任务合并来自于同一Map任务的数据，并继续执行直至完毕；若Reduce任务产生的中间数据还需要被下一轮的Map任务所使用，则Reduce任务将中间数据通过管道传送给Map任务；若Reduce任务产生的数据是最后结果，则Reduce任务将结果写入DFS。

本发明中的容错策略是：Reduce任务从管道接收到Map任务发来的数据时，Reduce任务将收到的数据暂时存储到临时缓冲区，当确认Map任务成功完成时，才将临时缓冲区的结果合并；当Reduce任务获知Map任务失败时，忽略该Map任务从管道发来的所有数据；Map任务将其发出去的数据全部暂时保存，当Reduce任务失败时，将暂时保存的已发送过的数据重新向复制的Reduce任务发送。

本发明避免了传统的Map任务和Reduce任务将中间结果存储到DFS，从而降低DFS维护代价，并减少从DFS读取数据的时间。Reduce任务能基于部分输入数据开始执行，使得Map任务和Reduce任务并行化执行。相比于传统MapReduce编程框架，本发明既减少从DFS读取数据的时间，又使得Map任务和Reduce任务并行化执行，从而大幅度地减少了作业的执行时间。

本发明还分别针对Map任务失败和Reduce任务失败提供了容错策略，使其具备了健壮的容错性。

附图说明

图1为传统MapReduce编程框架数据流的示意图；

图2本发明数据流的示意图；

图3为本发明容错策略的流程图；

图4为本发明与传统MapReduce编程框架Map和Reduce任务执行过程比较图。

具体实施方式