[发明专利]应用于分布式文件系统的任务调度方法和设备有效
| 申请号： | 201410535260.9 | 申请日： | 2014-10-11 |
| 公开（公告）号： | CN105574008B | 公开（公告）日： | 2020-01-31 |
| 发明（设计）人： | 贾士博;岳银亮 | 申请（专利权）人： | 华为技术有限公司;中国科学院计算技术研究所 |
| 主分类号： | G06F16/182 | 分类号： | G06F16/182 |
| 代理公司： | 11205 北京同立钧成知识产权代理有限公司 | 代理人： | 刘芳 |
| 地址： | 518129 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例提供一种应用于分布式文件系统的任务调度方法和设备，包括：元数据节点获取待处理的任务对应的数据块的标识，并根据该数据块的标识获取该数据块的待读取副本的存储信息，然后，向待读取副本所在的数据节点发送预取指令，以将该数据块从该数据节点的HDD中预取到SSD中，在预取成功后，元数据节点将所该数据块的元数据添加到预取数据成功表，后续在调度该任务时，元数据节点根据该数据块的元数据直接从SSD中读取该数据块。本发明中，由于在Map Reduce中元数据节点预先知道有哪些待处理的任务，以及这些任务对应的数据块的标识，因此，元数据节点能够准确的将将要处理的数据块预先从HDD中读取到SSD中，提高了缓存的命中率。 | ||
| 搜索关键词： | 应用于 分布式 文件系统 任务 调度 方法 设备 | ||
【主权项】：
1.一种应用于分布式文件系统的任务调度方法，其特征在于，包括：/n元数据节点获取待处理的任务对应的数据块的标识，并根据所述数据块的标识获取所述数据块的待读取副本的存储信息；/n所述元数据节点根据所述待读取副本的存储信息，向所述待读取副本所在的数据节点发送预取指令，所述预取指令用于指示所述数据节点从所述数据节点的硬盘驱动器中读取所述数据块，并将所述数据块写入所述数据节点的固态硬盘；/n所述元数据节点将所述数据块的元数据添加到预取数据成功表，所述预取数据成功表中的任务优先被所述元数据节点调度，在所述元数据节点调度所述待处理的任务时，所述元数据节点根据所述预取数据成功表中保存的所述数据块的元数据从所述数据节点的固态硬盘中读取所述数据块；所述数据节点为资源使用率低于预设阈值和/或预取数据块个数小于预设个数的数据节点；/n所述元数据节点根据所述任务对应的数据块的标识，获取所述数据块的副本信息；/n所述元数据节点根据所述数据块的副本信息，获取所述数据块的各个副本所在的数据节点的资源使用率，确定资源使用率低于预设阈值的数据节点；/n若所述资源使用率低于预设阈值的数据节点只有一个，则所述元数据节点将所述资源使用率低于预设阈值的数据节点上的副本作为所述数据块的待读取副本，并获取所述待读取副本的存储信息；/n若所述资源使用率低于预设阈值的数据节点为多个，则所述元数据节点获取所述各资源使用率低于预设阈值的数据节点的预取数据块个数，从所述各资源使用率低于预设阈值的数据节点中选取预取数据块个数小于预设个数的数据节点上的副本作为所述数据块的待读取副本，并获取所述待读取副本的存储信息。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华为技术有限公司;中国科学院计算技术研究所，未经华为技术有限公司;中国科学院计算技术研究所许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410535260.9/，转载请声明来源钻瓜专利网。
- 上一篇：基于视觉显著性的图像检索方法
- 下一篇：一种基于SQL数据库数据文件传输方法
