[发明专利]应用于分布式文件系统的任务调度方法和设备

权利要求书

1.一种应用于分布式文件系统的任务调度方法，其特征在于，包括：

元数据节点获取待处理的任务对应的数据块的标识，并根据所述数据块的标识获取所述数据块的待读取副本的存储信息；

所述元数据节点根据所述待读取副本的存储信息，向所述待读取副本所在的数据节点发送预取指令，所述预取指令用于指示所述数据节点从所述数据节点的硬盘驱动器中读取所述数据块，并将所述数据块写入所述数据节点的固态硬盘；

所述元数据节点将所述数据块的元数据添加到预取数据成功表，所述预取数据成功表中的任务优先被所述元数据节点调度，在所述元数据节点调度所述待处理的任务时，所述元数据节点根据所述预取数据成功表中保存的所述数据块的元数据从所述数据节点的固态硬盘中读取所述数据块；所述数据节点为资源使用率低于预设阈值和/或预取数据块个数小于预设个数的数据节点；

所述元数据节点根据所述任务对应的数据块的标识，获取所述数据块的副本信息；

所述元数据节点根据所述数据块的副本信息，获取所述数据块的各个副本所在的数据节点的资源使用率，确定资源使用率低于预设阈值的数据节点；

若所述资源使用率低于预设阈值的数据节点只有一个，则所述元数据节点将所述资源使用率低于预设阈值的数据节点上的副本作为所述数据块的待读取副本，并获取所述待读取副本的存储信息；

若所述资源使用率低于预设阈值的数据节点为多个，则所述元数据节点获取所述各资源使用率低于预设阈值的数据节点的预取数据块个数，从所述各资源使用率低于预设阈值的数据节点中选取预取数据块个数小于预设个数的数据节点上的副本作为所述数据块的待读取副本，并获取所述待读取副本的存储信息。

2.根据权利要求1所述的方法，其特征在于，所述元数据节点在将所述数据块的元数据添加到预取数据成功表之后，所述方法还包括：

所述元数据节点将所述数据节点的预取计数值加1。

3.根据权利要求1或2所述的方法，其特征在于，所述元数据节点获取待处理的任务对应的数据块的标识之前，所述方法还包括：

所述元数据节点接收客户端提交的Map Reduce作业；

所述元数据节点将所述Map Reduce作业划分为多个待处理的任务。

4.根据权利要求1所述的方法，其特征在于，所述元数据节点根据所述数据块的标识获取所述数据块的待读取副本之前，所述方法还包括：

所述元数据节点判断所述预取数据成功表中是否包含所述数据块的元数据；

若不包含，则所述元数据节点根据所述数据块的标识获取所述数据块的待读取副本。

5.一种元数据节点，其特征在于，包括：

获取模块，用于获取待处理的任务对应的数据块的标识，并根据所述数据块的标识获取所述数据块的待读取副本的存储信息；

发送模块，用于根据所述待读取副本的存储信息，向所述待读取副本所在的数据节点发送预取指令，所述预取指令用于指示所述数据节点从所述数据节点的硬盘驱动器中读取所述数据块，并将所述数据块写入所述数据节点的固态硬盘；

处理模块，用于将所述数据块的元数据添加到预取数据成功表，所述预取数据成功表中的任务优先被所述元数据节点调度，在所述元数据节点调度所述待处理的任务时，所述处理模块还用于根据所述预取数据成功表中保存的所述数据块的元数据从所述数据节点的固态硬盘中读取所述数据块；所述数据节点为资源使用率低于预设阈值和/或预取数据块个数小于预设个数的数据节点；

所述获取模块具体用于：

根据所述任务对应的数据块的标识，获取所述数据块的副本信息；

根据所述数据块的副本信息，获取所述数据块的各个副本所在的数据节点的资源使用率，确定资源使用率低于预设阈值的数据节点；

若所述资源使用率低于预设阈值的数据节点只有一个，则将所述资源使用率低于预设阈值的数据节点上的副本作为所述数据块的待读取副本，并获取所述待读取副本的存储信息；

若所述资源使用率低于预设阈值的数据节点为多个，则获取所述各资源使用率低于预设阈值的数据节点的预取数据块个数，从所述各资源使用率低于预设阈值的数据节点中选取预取数据块个数小于预设个数的数据节点上的副本作为所述数据块的待读取副本，并获取所述待读取副本的存储信息。