[发明专利]多中心数据任务处理方法、装置及系统

说明书

技术领域

本发明涉及一种业务支撑技术，尤其涉及一种多中心数据任务处理方法、装置及系统。 

背景技术

出于安全的考虑，企业通常会建立两个或多个数据处理中心，实现容灾。而在日常则会采用任务分配的方式使负载在数据处理中心间均摊，每个数据处理中心处理不同的任务，处理存储不同的数据，特别是复杂的非直接面向应用的中间数据。然而由于数据间存在复杂的关联关系，往往一个数据处理需要依赖多个数据来源，非常可能是另外一个数据中心处理的数据结果，这样就需要数据从某个中心导出，再经过网络传输，导入到需要计算的中心，而这个过程时间消耗很大，大大降低了系统总体处理效率。 

如何对双中心进行任务分配是双中心或多中心工作的一个重点问题。常见的任务分配方式有很多，有动态的和固定的。动态的分配有轮询算法、随机分配算法、最小连接算法、最快响应算法、链路带宽算法等等。固定分配算法主要按专家意见。 

对于数据处理型系统例如数据仓库系统而言，动态的任务分配算法并不适用，因为需要将任务分配动作和数据分配动作同步执行，而数据同步会花费更多的传输时间和加载时间。固定分配是被广泛采用的，计算任务主要按数据所在位置分配。 

目前固定分配算法多采用专家意见进行定性划分，手动调整，例如按照应用或者按照地域划分，这种划分通常是周期性的由人工进行规划，规划时基于当时所统计的数据进行，很难保证最优的分配，会导致数据多处存放冗余、数据传输量大、计算重复、无法形成统一视图等一系列的问题。例如在中国移动的经分系统的两级系统可以认为是按地域划分的一种方式，如图所示，为了实现省级经分中按地域的统计需要建立一级经营分析系统，实现汇总数据的中心，实现全国级的数据计算。而以前中国联通的经分仅建设了省 级经分，未建设一级经分，因此不能实现全网的数据分析，不得不重新建立总部经分系统。 

另外，现有技术中还有其他的实现方案： 

一、例如专利申请号为200610170646.X，发明名称为《分布式数据中心逻辑统一的实现方法及系统》中描述了一种分布式数据中心逻辑统一的实现方法，各数据中心采用顾客信息控制CICS作为连接客户端与数据中心的应用服务器；该方法包括步骤：通过将各数据中心对应的CICS互连建立各数据中心通讯；客户端接收数据处理请求，确定数据处理属于跨数据中心时，将客户端和服务器端有关数据处理的会计分录合并在客户端。此发明提供一种分布式数据中心逻辑统一的系统。 

该专利的方法仅适用于简单计算，数据粒度较粗，数据量较少的场景下，才可以在CICS配合下在客户端实现合并，但是在数据计算流程通常比较复杂，数据量很大，数据粒度细，并不能解决目前跨中心的数据仓库类系统或海量数据处理类系统的任务分配问题。 

二、google在单数据中心的云计算部署有着先进的技术，通过Map-reduce和GFS机制获得单数据中心的数据并行处理。而类google架构的hadoop开源同样专注于单数据中心内的数据并行处理。他们在跨数据中心的任务分配的完整性和隔离性上仍未能很好解决，主要采用按地域或应用划分计算任务，例如google map部署于一个数据中心，而google mail部署于另一个数据中心，之间并无数据顺序计算与调度关系。 

现有常用的方法有以下缺点： 

1、现有的动态分配算法适用于数据无关或不与海量数据相关的计算，不适用于数据量巨大的计算场景，会造成数据的大量迁移和数据的大量冗余； 

2、现有的固定分配方法通常以地域应用划分，通常是基于很长时间的统计信息，很难保证最优的分配，会导致数据多处存放冗余、数据传输量大、计算重复、无法形成统一视图等一系列的问题； 

3、基于客户端做合并的方法也不适用于数据量巨大的计算； 

4、基于单中心的数据计算分配与并行处理，由于并非考虑数据中心间的数据同步和数据迁移，因此同样不适用于跨数据中心的数据计算。 

发明内容

本发明的目的在于，提供一种多中心数据任务处理方法、装置及系统，适用于数据量巨大且关联度复杂的多中心计算需求，任务分配更加均衡。 

为实现上述目的，根据本发明的一个方面，提供一种多中心数据任务处理方法，包括： 

A、采集数据任务信息； 

B、根据所述数据任务信息生成数据任务模型图，对所述数据任务模型图进行切割，即对所述数据任务模型图中的所有节点分组，其中，所述数据任务模型图中的节点为各个数据任务； 

C、将不同组的数据任务部署到相应的数据中心。