[发明专利]基于P2P构架的MapReduce任务跨数据中心调度系统及方法

权利要求书

1.一种基于P2P架构的MapReduce任务跨数据中心调度系统，其特征在于，包括一个客户端、n个数据中心，各数据中心均有一个资源管理器和多个节点管理器，其中各数据中心的资源管理器与客户端之间采用广域网链接，各数据中心的资源管理器之间采用广域网链接，各数据中心的资源管理器与节点管理器之间由局域网链接；各数据中心的资源管理器均包含一个P2P代理模块Proxyer，通过该Proxyer，使各数据中心的资源管理器组成一个P2P对等架构；各数据中心的资源管理器都能接收来自客户端的MapReduce任务请求，成为主资源管理器，并根据任务请求和各数据中心忙闲状态向其它数据中心的资源管理器进行任务分派；被分派任务的资源管理器就成为本次MapReduce任务的执行资源管理器；各数据中心的资源管理器将本中心的任务和资源信息同步至其他数据中心的资源管理器中；所述客户端包含有一个MapReduce任务多途径提交模块Submitter：用于与各数据中心的资源管理器交互，客户端通过该Submitter的选择确定本次任务的数据中心主资源管理器，并提交MapReduce任务请求，同时实时从主资源管理器获取任务执行状态。

2.一种基于P2P架构的MapReduce任务跨数据中心调度方法，其特征在于，包括下述步骤：

(1)通过各个数据中心资源管理器中的Proxyer建立基于P2P架构对等互联，使各个数据中心资源管理器之间实时同步各数据中心状态信息，各数据中心中的节点管理器资源被所有数据中心共享；

(2)客户端通过Submitter发起MapReduce任务请求，根据Submitter预置策略将MapReduce任务发送至某一数据中心的资源管理器，由该主资源管理器按预置的调度策略进行MapReduce任务调度；

(3)主资源管理器按预设调度算法进行任务分析拆解，并分派至其它各数据中心的资源管理器，启动MapReduce任务执行；

(4)各数据中心执行资源管理器实时将任务执行信息同步至主资源管理器，主资源管理器通过Proxyer在各数据中心间同步状态信息，并调度和监控MapReduce任务的执行；

(5)客户端实时从主资源管理器获取任务执行状态信息，直至任务结束。

3.如权利要求2所述的基于P2P架构的MapReduce任务跨数据中心调度方法，其特征在于，所述MapReduce任务请求包括Map和Reduce的输入数据路径、输出数据路径、Map和Reduce任务个数、任务优先级、资源权限任何一特征或者几个特征的组合。

4.如权利要求2所述的基于P2P架构的MapReduce任务跨数据中心调度方法，其特征在于，所述客户端Submitter预置策略为随机映射选择法和预设映射表法。