[发明专利]一种跨多数据中心的数据分布式处理加速方法及其系统

说明书

本发明提出了一种跨多数据中心的数据分布式处理加速方法。本方法中每个站点只要获得所需的输入数据就能够执行对应的计算任务。每个站点的输入数据加载、map计算、shuffle传递和reduce计算过程都不需要等待其他的站点的前一个过程都完成对应的操作。同时，本发明提供了精确的计算时间估计，并使得本发明方法适应动态的广域网带宽来提升SDTP的实用性，能够极大地减少作业的响应时间。本发明还提出了一种跨多数据中心的数据分布式处理加速系统，对应于上述方法，能够充分的使用跨区域分布站点的网络和计算资源，从而有效地分析跨区域分布的数据而不必等待前一阶段的瓶颈站点完成对应的数据传输或计算任务。

技术领域

本发明涉及数据分析领域，具体公开了一种跨多数据中心的数据分布式处理加速方法及其系统。

背景技术

谷歌，亚马逊和阿里巴巴等云提供商已经在全球部署了数据中心，以提供即时服务。这些服务在全球范围内生成大量数据，包括交易数据，用户日志和性能日志等。挖掘这些地理分布的数据（也称为广域分析）对于商业建议，匿名检测，性能升级和系统维护等至关重要。通常实施诸如Map-Reduce的分布式计算框架来挖掘此类海量数据集。这种计算方式的主要挑战是地理分布站点之间硬件资源的异构性，主要包括计算，上行链路带宽和下行链路带宽。最大的在线服务提供商的计算能力可能比普通在线服务提供商大两个数量级。此外，在Amazon EC2站点之间的WAN带宽中，站点之间的带宽比站点内的带宽小15倍，而且不同站点之间的广域网带宽达到12倍的差距。。地理分布站点之间的数据量的异构性也很高，数据量的异构性会严重影响广域网数据分析的执行。作业响应时间是分析地理分布数据的关键指标，该指标主要由作业在每个阶段的瓶颈站点的完成时间决定。但是，硬件资源的异构性和地理分布站点之间数据量的多样性严重影响了作业完成时间。因此，优化此度量标准具有挑战性，因为必须考虑多个因素，包括站点之间的WAN链路带宽，WAN链路的成本，每个站点中的计算资源和数据分布等。

Iridium 考虑到WAN的异构性，旨在通过优化reduce任务来最小化跨区域分析作业的响应时间。Flutter是考虑到WAN链路的异构性和WAN带宽成本，提出了一种新的任务调度算法，用于减少大数据处理作业的响应时间和网络成本。Tetrium 在设计了map和reduce的任务放置策略时共同考虑了计算和网络资源的异构性。 Yugong提出了一种新颖的数据和作业放置策略以最小化跨DC带宽的使用并减少查询等待时间。Liu等人主动汇总map任务的输出数据，并避免在shuffle阶段重复进行数据传输，以减少作业响应时间。以上方法通过各种方式减少作业响应时间，然而这些方法中大量的WAN链路和计算资源在作业执行期间却任然处于空闲状态。此外，这些方法都忽略了可用WAN带宽的动态特性以及并行度的影响。