[发明专利]应用于分布式文件系统的任务调度方法和设备

说明书

本发明实施例提供一种应用于分布式文件系统的任务调度方法和设备，包括：元数据节点获取待处理的任务对应的数据块的标识，并根据该数据块的标识获取该数据块的待读取副本的存储信息，然后，向待读取副本所在的数据节点发送预取指令，以将该数据块从该数据节点的HDD中预取到SSD中，在预取成功后，元数据节点将所该数据块的元数据添加到预取数据成功表，后续在调度该任务时，元数据节点根据该数据块的元数据直接从SSD中读取该数据块。本发明中，由于在Map Reduce中元数据节点预先知道有哪些待处理的任务，以及这些任务对应的数据块的标识，因此，元数据节点能够准确的将将要处理的数据块预先从HDD中读取到SSD中，提高了缓存的命中率。

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种应用于分布式文件系统的任务调度方法和设备。

背景技术

Hadoop分布式文件系统(Hadoop Distributed File System，简称HDFS)具有高容错性的特点，可以部署在低廉的硬件上，能够提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS包括多个元数据节点和大量的数据节点(Data node)，元数据节点也称为名字节点(Name node)，元数据节点用来存储HDFS的元数据，元数据包括文件的命名、文件包括的数据块的信息和以及数据块的副本的信息等数据，数据节点是HDFS中真正存储数据的地方，数据节点还会周期性地向元数据节点汇报其存储的数据块信息。

Map Reduce是一个开源的计算框架，主要用于大规模数据集中进行并行运算，从而提高大规模数据集的性能，因此，非常适合运行在HDFS中。为了进一步提高HDFS的性能，引入了缓存机制，缓存是一种根据局部性原理，利用小容量的高速存储设备保存近期频繁使用的数据，从而提高整个存储系统性能的机制。Dongfang Zhao等人提出了应用于HDFS等分布式文件系统的缓存机制，分布式文件系统的每个数据节点上混合部署固态硬盘(SolidState Disk简称SSD)和硬盘驱动器(Hard Disk Drive，简称HDD)，SSD作为HDD的缓存，通过记录、分析以往的数据请求模式来预测将来可能被请求到的数据，从而将将来可能被请求的数据从HDD预取到SSD，由于SSD的读取速率比HDD快的多，直接从SSD中读取数据速率更快，从而提高了分布式文件系统的性能。

现有的缓存策略都是虽然能够在一定程度上提高系统性能，但是，由于基于对过去的访问情况估计将来，有一定的粗略性，无法精确地将即将访问的数据提前读入SSD。

发明内容

本发明实施例提供一种应用于分布式文件系统的任务调度方法和设备，能够准确的将将要处理的数据块预先从HDD中读取到SSD中，提高了缓存的命中率。

本发明第一方面提供一种应用于分布式文件系统的Map Reduce任务调度方法，包括：

元数据节点获取待处理的任务对应的数据块的标识，并根据所述数据块的标识获取所述数据块的待读取副本的存储信息；

所述元数据节点根据所述待读取副本的存储信息，向所述待读取副本所在的数据节点发送预取指令，所述预取指令用于指示所述数据节点从所述数据节点的硬盘驱动器中读取所述数据块，并将所述数据块写入所述数据节点的固态硬盘；

所述元数据节点将所述数据块的元数据添加到预取数据成功表，所述预取数据成功表中的任务优先被所述元数据节点调度，在所述元数据节点调度所述待处理的任务时，所述元数据节点根据所述预取数据成功表中保存的所述数据块的元数据从所述数据节点的固态硬盘中读取所述数据块。

结合本发明第一方面，在本发明第一方面的第一种可能的实现方式中，所述元数据节点根据所述数据块的标识获取所述数据块的待读取副本的存储信息，包括：

所述元数据节点根据所述任务对应的数据块的标识，获取所述数据块的副本信息；