[发明专利]基于键值分布的跨数据中心大数据处理

说明书

本发明提出了一种基于键值分布的跨数据中心（DC）大数据处理系统和方法，首先基于G‑Hadoop和G‑MR提出了一种新的架构，新增了一个用于收集DC相关信息以及key的分布信息的ResourceManager模块，该系统能对每个DC的输出进行抽样，从而得到近似的key分布并估算每个Reducer分配到的数据量，存储到ResourceManager模块；然后利用ResourceManager模块中存储的信息，本发明提出的二层分组遗传算法TLGGA，为每个reducer寻找目标DC。其中，TLGGA中初始种群的生成分别针对三个目标，即电价，物力资源和传输代价；TLGGA采用了局部优化的技巧，加快了算法的收敛。

技术领域

本发明涉及云计算和大数据技术领域，尤其涉及一种基于键值分布的跨数据中心大数据处理系统和方法。

背景技术

分布式云计算由多个跨地域分布的数据中心组成。数据中心通常由专用高速链路或者昂贵的长途链路连接。分布式云计算因为提供了充足的计算和存储能力，而越来越被广泛地用来部署多种业务，特别是像社会服务，天文学等这类数据密集型的应用。

因为这些数据数量巨大，而且来自于不同地域，将这些数据汇集到一起并存储在某一个数据中心不总是现实的。更不用说在某些国家，比如欧盟，数据安全法要求数据必须在本国存储。一般的，数据可以被存储在靠近数据产生的地方，以便于经常性的本地数据访问。比如，美国人口统计数据是存储在各州的。巨大的遥感数据是存储在跨地域的数据中心的。虽然这些数据是分区域管理的，它们也可能为了一个共同的目标而需要被协同分析。如果处理这些分布式的数据已经吸引了学者和业界(比如MapR，其中一个主要的Hadoop供应商，宣布其最近的版本将支持跨数据中心的数据表备份。这意味着将来Hadoop框架并不总是要局限在一个数据中心内部)的广泛关注。

Hadoop是进行大数据分析的公认平台，是MapReduce的开源实现，但目前Hadoop的版本并不支持跨数据中心的大数据分析和处理。研究跨数据中心的大数据处理技术已经越来越迫切。为了了解跨数据中心的大数据分析，必须要先了解MapReduce的处理机制。

一般的，MapReduce依赖于Hadoop分布式文件系统(HDFS)。如附图1左半部份所示，HDFS中，分布在扁平化网络上的数据被划分成等量的数据块(缺省值为64M)。每一个数据分区(split)通常包含一个数据块，也可包含多个数据块。一个数据分区按照一个{key-value}对的方式(<key1,val1>)由一个mapper处理。MapReduce包含两个阶段：map阶段和reduce阶段。mapper的数目是由MapReduce的job的输入，也即数据分区个数来决定的，因此通常和数据块的个数相同。reducer的数目需要配置。一般最优配置建议是mapper数目的2/3。Mapper和reducer均在独立的VM中运行。Mapper遵从数据本地化原则，即，优选和输入的数据分区在一起，以减少数据拷贝并加速job完成。如果做不到这一点(比如数据分区所在的PM的计算资源不够)，同机框的计算节点将会优先被选择，如果还不成功，则尝试其它机框的节点。作为中间数据的map输出，list(<key2,val2>)，将会被存放在本地磁盘上。