[发明专利]在具有存储网络的数据中心进行MapReduce数据传输的方法和系统

权利要求书

1.一种用于在具有存储网络的数据中心进行MapReduce数据传输的方法，该数据中心包括部署有作业服务器、Map任务服务器和Reduce任务服务器的多台服务器，该方法包括：

响应于接收到作业服务器分配的Map任务，Map任务服务器执行Map任务并产生Map任务输出结果；

Map任务服务器将Map任务输出结果写入存储网络；以及

响应于接收到作业服务器分配的Reduce任务，Reduce任务服务器从存储网络读取Map任务输出结果。

2.根据权利要求1所述的方法，其中响应于接收到作业服务器分配的Map任务，Map任务服务器执行Map任务并产生Map任务输出结果进一步包括：

响应于接收到作业服务器分配的Map任务，从作业服务器指定的存储位置读取Map任务的输入数据分片；

从输入数据分片中分析出键值对；

调用Map函数对所述键值对进行计算并产生Map函数的输出；以及

通过对Map函数的输出做分割形成Map任务输出结果。

3.根据权利要求1或2所述的方法，其中Map任务服务器将Map任务输出结果写入存储网络进一步包括：

将Map任务输出结果的写入位置信息记录下来；以及

Map任务完成后，向作业服务器发出Map任务完成的通知并将Map任务输出结果的写入位置信息发送给作业服务器。

4.根据权利要求3所述的方法，其中响应于接收到作业服务器分配的Reduce任务，Reduce任务服务器从存储网络读取Map任务输出结果进一步包括：

响应于接收到作业服务器分配的Reduce任务以及Map任务输出结果的写入位置信息，Reduce任务服务器从存储网络对应的写入位置读取Map任务输出结果。

5.根据权利要求4所述的方法，其中Map任务服务器将Map任务输出结果写入存储网络进一步包括：

通过光纤信道协议FCP将Map任务输出结果以数据块的形式写入分配给该Map任务服务器的逻辑单元的相应位置，其中该逻辑单元在存储网络中的存储设备上。

6.根据权利要求5所述的方法，其中Map任务输出结果的写入位置信息至少包括存储设备标识WWPN、逻辑单元标识LUM、数据块在逻辑单元中的起始地址偏移量以及数据块长度字段。

7.根据权利要求6所述的方法，其中响应于接收到作业服务器分配的Reduce任务，Reduce任务服务器从存储网络读取Map任务输出结果进一步包括：

解析接收到的Map任务输出结果的写入位置信息，以获得存储设备标识WWPN、逻辑单元标识LUN、数据块在逻辑单元中的起始地址偏移量和数据块长度字段；以及

从所述存储设备标识WWPN、逻辑单元标识LUN、数据块起始地址偏移量和数据块长度字段所标识的存储网络中的存储设备上逻辑单元的相应位置，读取Map任务输出结果。

8.根据权利要求4所述的方法，其中Map任务服务器将Map任务输出结果写入存储网络进一步包括：

通过存储网络文件系统将Map任务输出结果写入存储网络。

9.根据权利要求8所述的方法，其中通过存储网络文件系统将Map任务输出结果写入存储网络进一步包括：

确定存储网络文件系统已安装到部署该Map任务服务器的服务器上；以及

将Map任务输出结果写入存储网络文件系统。

10.根据权利要求9所述的方法，其中将Map任务输出结果的写入位置信息记录下来进一步包括：

将Map任务输出结果在存储网络文件系统的全局命名空间内的路径名作为Map任务输出结果的写入位置信息记录下来。

11.根据权利要求10所述的方法，其中响应于接收到作业服务器分配的Reduce任务，Reduce任务服务器从存储网络读取Map任务输出结果进一步包括：

确认存储网络文件系统已安装到部署Reduce任务服务器的服务器上；

解析接收到的Map任务输出结果的写入位置信息，以获得Map任务输出结果在存储网络文件系统的全局命名空间中的路径名；

将所述路径名转换为部署Reduce任务服务器的服务器的本地文件系统中的路径名；以及

通过访问该本地文件系统中的路径名获得Map任务输出结果。