[发明专利]一种Internet环境下MapReduce计算方法

说明书

技术领域

本发明属于分布式计算模型领域，具体涉及Internet环境下一种新的MapReduce计算方法及系统，以及系统中的Map和Reduce任务调度方法。

背景技术

继高性能集群计算﹑网格计算之后，在大规模计算领域，云计算正受到人们的强烈关注。作为云计算的核心技术，MapReduce也受到了广泛关注。MapReduce是Google在2004年提出来的一种处理大规模数据集的并行编程模型，以此来简化分布式系统的编程。应用程序编写人员只需将精力放在应用程序本身，而关于集群的处理问题，包括可靠性、可扩展性、任务并行化、数据分布存储、负载均衡、节点通信等复杂过程被屏蔽，用户不需要关心如何将输入的数据分块，分配和调度。这使得那些没有多少并行计算经验的程序员也可以开发并行应用来处理和分析海量数据。

MapReduce系统通过Map（映射）和Reduce（化简）这样两个简单的概念来构成运算基本单元。用户只需编写Map函数和Reduce函数即可实现对大规模海量数据集的并行处理。MapReduce系统可以根据输入数据的大小及作业的配置等信息，自动将该作业初始化为多个相同的Map任务和Reduce任务，分别读取不同的输入数据块并调用Map函数和Reduce函数进行处理。在Map函数中指定对各分块数据的处理过程，在Reduce函数中指定如何对分块数据处理的中间结果进行化简。映射-化简过程如下：

映射（Map）过程：    Map(key1,value1) ----> list(key2,value2)

化简（Reduce）过程： Reduce(key2,list(value2)) ----> list(value3)

此外，在Reduce过程之前，一般还包括排序（Sort）过程和合并（Merge）过程。

如图1所示，在Map阶段，Map任务读取一个输入（key1,value1）对，由程序员定义的Map函数对其处理产生一个中间（key2,value2）结果集，并保存在本地。在Reduce阶段，Reduce任务从所有执行Map任务的节点读取中间关键字key2和相关的一个value2集，由程序员定义的Reduce函数对其进行处理，并得到计算结果。

在现有技术中，MapReduce系统通常和分布式文件系统相耦合，如Yahoo提出的Hadoop是一种基于Java的MapReduce开源实现，实现了一个分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce任务调度框架，大数据经过分片，存储在由工作节点（Worker）所组成的分布式文件系统中。Hadoop通常部署在高可靠集群环境下，用户通过Master提交作业；Master进行任务调度，同时接收Worker的状态汇报；Worker执行Map任务或Reduce任务；Map任务从分布式文件系统读数据分片，执行任务，最后在本地写中间结果；Reduce任务读Map输出的中间结果，执行任务，最后在分布式文件系统上写输出数据。

另一方面，自上世纪九十年代以来，人们目睹了志愿计算的强大计算能力。目前，志愿计算也吸引了越来越多的关注。志愿计算是通过互联网让全球的普通大众自愿捐献个人PC空闲的CPU周期，参与科学计算或数据分析的一种计算方式，实现分散的志愿资源的集成。这种方式为解决基础科学运算规模较大、计算资源需求较多的难题提供了一种行之有效的解决途径。它将许多单独的计算机连接在一起，从而建立一个具有海量计算能力的大系统，这种系统远远超过几台超级计算机的能力。

在生物信息学﹑高能物理﹑气候预测等多个领域已开始使用这一模式来解决大规模的科学计算问题。最著名的BOINC（伯克利开放网络计算平台）提供了一个志愿计算运行环境。目前全球最大的志愿计算项目SETIhome就运行在BOINC平台上。该项目注册用户达200多万，活跃用户有20多万，24小时的平均吞吐量达到了惊人的7 PetaFLOPS。此外知名的志愿计算项目还包括FOLDINGhome﹑LHChome﹑Einsteinhome﹑IBM World Community Grid﹑ClimatePrediction.net等。