[发明专利]一种Internet环境下MapReduce计算方法

权利要求书

1.一种Internet环境下的MapReduce计算方法，其特征在于，利用Internet环境下志愿者桌面PC的空闲计算和存储资源来进行MapReduce计算，提供一种Internet环境下简单有效的容错MapReduce计算模型与方法，使得志愿计算系统能够支持MapReduce计算。

2.根据权利要求1所述的Internet环境下的MapReduce计算方法，其特征在于，Internet环境下的MapReduce计算系统架构包含三种不同类型的节点：第一是服务器，包含数据存储服务器、元数据服务器、数据调度器、MR任务调度器这四个不同的服务组件；第二是客户端（用户），也称之为Master节点；第三是众多的工作节点，也称之为Worker节点。

3.根据权利要求1所述的Internet环境下的MapReduce计算方法，其特征在于，它不依赖于传统的分布式文件系统，而依赖于自己的元数据管理系统和数据存储服务器。

4.根据权利要求2所述的Internet环境下的MapReduce计算方法，其特征在于，桌面PC以志愿者的形式加入系统成为工作节点，用户作为Master向服务器上传待处理的数据，并提交MapReduce任务，服务器自动将Map任务和Reduce任务调度至工作节点上执行，待所有任务完成，Reduce任务的最终结果自动返回给用户，无需人工干预。

5.根据权利要求4所述的Internet环境下的MapReduce计算方法，其特征在于，在元数据管理基础之上，利用数据驱动的方式，将任务分配与调度转化为数据调度，将Map任务和Reduce任务的容错转化为Map输入数据、中间结果和Reduce输入数据的容错，解决了Internet环境下工作节点动态易失效带来的影响。

6.根据权利要求4所述的Internet环境下的MapReduce计算方法，其特征在于，采用{副本数目，容错标志，生命周期，依赖关系，传输协议}五元组的数据属性值，来实现各种数据调度控制；利用数据容错标志，实现任务的容错；利用数据依赖关系，来实现合理控制Map任务得到的中间结果的数据流向，准确传输至执行Reduce任务的工作节点。

7.根据权利要求4所述的Internet环境下的MapReduce计算方法，其特征在于，采用了基于元数据的“拉模式”数据调度，突破Internet环境下网络地址转换和防火墙的限制；在“拉模式”下，工作节点主动发起通信过程，服务器被动响应；工作节点利用周期性的“心跳信号”向数据调度器汇报当前存储在本地的数据；作为“心跳信号的”响应，数据调度器与节点之间进行数据同步操作，数据调度器扫描系统中所有数据的属性，通知节点是否需要下载数据至本地或者删除已存在于本地的数据，将数据同步与数据调度相耦合。