[发明专利]一种基于管道通信的MapReduce编程框架运算方法

权利要求书

1.一种基于管道通信的MapReduce编程框架运算方法，其特征在于该运算方法利用SOCKET编程在Map任务和Reduce任务之间实现管道通信，具体步骤如下：

1）Map任务初始化时打开SOCKET与Reduce任务建立通信管道，Map任务开始执行后，边执行边将输出的中间结果通过管道发给Reduce任务；Reduce任务同步接收来自于Map任务的数据，将这些数据存储到内存缓冲区中，Reduce在收到的部分数据的情况下，一旦满足其执行条件，Reduce基于部分输入数据开始执行；此时，Map任务尚未完成，Map任务和Reduce任务并行化执行；

2）当所有Map任务都执行完毕时，Reduce任务合并来自于同一Map任务的数据，并继续执行直至完毕；若Reduce任务产生的中间数据还需要被下一轮的Map任务所使用，则Reduce任务将中间数据通过管道传送给Map任务；若Reduce任务产生的数据是最后结果，则Reduce任务将结果写入DFS。

2.根据权利要求1所述的基于管道通信的MapReduce编程框架运算方法，其特征在于： Reduce任务从管道接收到Map任务发来的数据时，Reduce任务将收到的数据暂时存储到临时缓冲区，当确认Map任务成功完成时，才将临时缓冲区的结果合并；当Reduce任务获知Map任务失败时，忽略该Map任务从管道发来的所有数据；Map任务将其发出去的数据全部暂时保存，当Reduce任务失败时，将暂时保存的已发送过的数据重新向复制的Reduce任务发送。