[发明专利]一种多磁盘场景下的磁盘管理方法和设备

说明书

技术领域

本发明涉及通信技术领域，特别是涉及一种多磁盘场景下的磁盘管理方法和设备。

背景技术

并行计算(Parallel Computing)是指同时使用多种计算资源解决计算问题的过程。并行计算或称平行计算是相对于串行计算来说的。所谓并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。

并行计算系统，如MapReduce、Pregel、MPI、OpenMP等为高性能计算和海量数据处理提供了一种并行和分布式的处理方法。该类系统一般是由大量处理节点和中控节点组成，中控节点用于进行任务的分解、调度和状态监控等工作，处理节点进行任务的执行。

一个并行计算程序首先要提交到中控节点，由中控节点进行任务的分解，并调度至处理节点；处理节点进行子任务的计算，并将结果反馈。在高性能计算和海量数据处理系统中，处理节点会产生大量的临时中间结果。不同并行应用的临时中间结果的数据大小不同，中间结果的访问情况(顺序写顺序读，或者顺序写随机读，或者随机写随机读等)不同，中间结果的存储时间也不相同。

为了保存中间数据结果，可以在每个处理节点上挂载一个或多个本地磁盘，或者将结果保存在共享存储系统中。但是，由于共享存储昂贵的价格和可能会成为瓶颈的网络带宽，特别是在海量数据处理的场景下，并行计算系统一般采用在处理节点挂载多个本地磁盘来存储中间数据结果的方法。

下面，以MapReduce并行计算系统为例来介绍并行计算系统的架构、数据处理流程和数据存储方式。

MapReduce是一种用于处理海量数据集的并行编程模型和系统，可以自动将MapReduce作业并行化为多个子任务，并调度到一个由普通PC(Personal Computer，个人电脑)构建的集群上并发执行；同时，系统自动解决对节点失效、任务失效及节点间数据交换等问题，使得MapReduce应用可以不必关心此问题，而通过定义相应的Map和Reduce函数即可实现分布式数据处理的功能。

MapReduce系统主要由三个模块组成，其系统架构如图1所示。客户端(Client)用于将用户撰写的并行处理作业提交至主节点(Master)；主节点自动将用户作业分解为Map任务和Reduce任务，并将任务调度到工作节点(Worker)；工作节点用于向主节点请求执行任务。

在MapReduce作业执行过程中，会产生大量临时数据，这些临时数据保存在每个工作节点的本地磁盘上，当MapReduce作业执行完毕后，这些临时数据会被清除。因此，在MapReduce执行过程中，会有大量的本地磁盘I/O(Input/Output，输入/输出)。为了提升本地数据的读写性能，一般都会在每个工作节点服务器上配置多个磁盘。

当配置多个磁盘时，MapReduce对本地多个磁盘的管理采用的处理方案的流程图如图2所示，包括以下步骤：

步骤S201、当本地磁盘管理系统接收到磁盘写请求时，首先判断是否指定了要写入的数据的大小。

如果指定了写入数据的大小，则执行步骤S202；

如果未指定写入数据的大小，则执行步骤S203。

步骤S202、轮询每个磁盘，直到找到一个剩余存储空间可以满足要求的磁盘。

步骤S203、采用带有概率的轮询方法(Roulette selection)，以较大的概率选择剩余存储空间较多的磁盘。

在实现本发明的过程中，发明人发现现有技术至少存在如下问题：

在现有并行计算系统中，本地磁盘管理策略仅仅考虑了磁盘的容量和剩余存储空间是否可以满足要求或者以较高优先级将剩余存储空间较多的磁盘分配出去。但是，当处理节点上配置异构的磁盘时，由于已购磁盘存在性能以及操作策略的差异，目前的磁盘管理策略将不能更合理的调度各个磁盘。

发明内容

本发明的目的在于提供一种多磁盘场景下的磁盘管理方法和设备，同时考虑各磁盘的剩余空间和性能信息，根据综合得到的优先级参数进行磁盘选择，从而，更加高效合理的进行磁盘管理，发挥磁盘的性能，为此，本发明采用如下技术方案：

一方面，本发明实施例提出了一种多磁盘场景下的磁盘管理方法，包括：

接收任务调度指示消息，并根据各磁盘当前的剩余空间信息和性能信息为各磁盘确定针对所述任务调度指示消息所对应的任务的优先级参数；

根据所述各磁盘的优先级参数，为所述任务调度指示消息所对应的任务选择磁盘，执行相应的任务处理。