[发明专利]在具有存储网络的数据中心进行MapReduce数据传输的方法和系统

说明书

技术领域

本发明涉及MapReduce，特别涉及在具有存储网络的数据中心进行MapReduce数据传输的方法和系统。

背景技术

MapReduce是Google提出的一个软件架构，用于大规模数据集(大于1TB)上的并行运算。概念“Map(映射)”和“Reduce(化简)”及其主要思想，都是从函数式编程语言借来的。当前的MapReduce中间件实现要求应用开发者指定一个Map(映射)函数，用来把一组键值对映射成一些新的键值对，称作中间键值对；此外还要求应用开发者指定一个Reduce(化简)函数，用来对Map函数输出的中间键值对进行进一步处理。Map调用把输入数据自动分割成M片输入数据分片，这些输入数据分片能够被分布到多台机器上做并行处理。Reduce调用则通过分割函数分割中间键，从而形成R片(例如，hash(key)mod R)，它们也会被分布到多台机器上。分割数量R和分割函数由用户来指定。MapReduce通过把对数据集的大规模操作分发给网络上的多个节点来实现伸缩性。

目前，MapReduce被认为是构建数据中心的重要程序设计规范，已经有非常广泛的应用，典型的应用包括：分布式grep，分布式排序，web访问日志分析，反向索引构建，文档聚类，机器学习，基于统计的机器翻译等等。为了满足MapReduce处理/产生大数据量的需要，需要构建应用MapReduce的基础网络架构，例如，采用融合网络结构的新型数据中心。然而，对于传统的数据中心，如果重新构建应用MapReduce的基础网络架构，需要耗费大量的财力。图1示出具有存储网络的传统数据中心的网络架构示意图，传统数据中心的网络拓扑 通常由两个网络组成，一个是局域网(LAN)，一个是存储网络(SAN)。SAN是专用的高性能网络，用于在各种服务器和存储资源之间传输数据，避免了传统的消息网络(如LAN通常使用的TCP/IP网络)中通常会遇到的客户端和服务器之间的流量冲突问题。图2示出根据现有技术在具有存储网络的传统数据中心进行MapReduce数据传输的示意图，由于现有的MapReduce中间件是通过HTTP应用层协议将Map任务的输出结果传输给Reduce任务，因此需要用到TCP/IP协议栈，在这种情形下，只能通过LAN这个低性能网络将Map任务的输出结果传输给Reduce任务，从而导致MapReduce数据作业的处理效率低下。

因此，需要一种在不改变传统数据中心的硬件架构的前提下提高MapReduce数据传输效率的方法。

发明内容

基于上述问题，本发明提供一种在具有存储网络的数据中心进行MapReduce数据传输的方法和系统。

根据本发明的第一方面，提供一种在具有存储网络(SAN)的数据中心进行MapReduce数据传输的方法，该数据中心包括部署有作业服务器、Map任务服务器和Reduce任务服务器的多台服务器，该方法包括：响应于接收到作业服务器分配的Map任务，Map任务服务器执行Map任务并产生Map任务输出结果；Map任务服务器将Map任务输出结果写入存储网络；以及响应于接收到作业服务器分配的Reduce任务，Reduce任务服务器从存储网络读取Map任务输出结果。

根据本发明的第二方面，提供一种在具有存储网络(SAN)的数据中心进行MapReduce数据传输的系统，该系统包括：作业服务器，被配置为指定Map任务服务器执行Map任务以及指定Reduce服务器执行Reduce任务；Map任务服务器，被配置为响应于接收到作业服务器分配的Map任务，执行Map任务并产生Map任务输出结果，并将Map任务输出结果写入存储网络；Reduce任务服务器，被配置为响应于接收到作业服务器分配的Reduce任务，从存储网络读取Map任务输出结果。

根据本发明实施例的方法和系统，在保持传统数据中心的硬件架 构的前提下，直接从存储网络读取Map任务输出结果，充分利用存储网络的网络带宽，充分发挥出传统数据中心双网络架构的性能。

附图说明

结合附图，通过参考下列详细的示例性实施例的描述，将会更好地理解本发明本身、优选的实施方式以及本发明的目的和优点，其中：

图1示出具有存储网络的传统数据中心的网络架构示意图；

图2示出根据现有技术在具有存储网络的传统数据中心进行MapReduce数据传输的示意图；

图3示出根据本发明的实施例在具有存储网络的数据中心进行MapReduce数据传输的示意图；