[发明专利]一种基于管道通信的MapReduce编程框架运算方法

摘要

本发明公开一种基于管道通信的MapReduce编程框架运算方法，该方法在Map任务和Reduce任务之间实现管道通信，避免将中间结果写入分布式文件系统，并使Map任务和Reduce任务并行化执行；该方法还提供了容错策略，Reduce任务将收到的数据存储到临时缓冲区，Map任务失败时，忽略它从管道发来的所有数据；Map任务将其发出去的数据暂时保存，Reduce任务失败时，将这些数据重新发送给复制的Reduce任务。本发明成果能节省布式文件系统的维护代价，大幅度缩短作业的执行时间，且具备健壮的容错性。

主权项

一种基于管道通信的MapReduce编程框架运算方法，其特征在于该运算方法利用SOCKET编程在Map任务和Reduce任务之间实现管道通信，具体步骤如下：1）Map任务初始化时打开SOCKET与Reduce任务建立通信管道，Map任务开始执行后，边执行边将输出的中间结果通过管道发给Reduce任务；Reduce任务同步接收来自于Map任务的数据，将这些数据存储到内存缓冲区中，Reduce在收到的部分数据的情况下，一旦满足其执行条件，Reduce基于部分输入数据开始执行；此时，Map任务尚未完成，Map任务和Reduce任务并行化执行；2）当所有Map任务都执行完毕时，Reduce任务合并来自于同一Map任务的数据，并继续执行直至完毕；若Reduce任务产生的中间数据还需要被下一轮的Map任务所使用，则Reduce任务将中间数据通过管道传送给Map任务；若Reduce任务产生的数据是最后结果，则Reduce任务将结果写入DFS。