[发明专利]一种基于随机延迟缓解I/O瓶颈的大规模并行系统检查点数据写入方法有效
申请号: | 201810188654.X | 申请日: | 2018-03-07 |
公开(公告)号: | CN108491159B | 公开(公告)日: | 2020-07-17 |
发明(设计)人: | 刘轶;孙庆峥;朱延超 | 申请(专利权)人: | 北京航空航天大学 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京永创新实专利事务所 11121 | 代理人: | 李有浩 |
地址: | 100191*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 随机 延迟 缓解 瓶颈 大规模 并行 系统 检查点 数据 写入 方法 | ||
1.一种基于随机延迟缓解I/O瓶颈的大规模并行系统检查点数据写入方法,其特征在于具体执行下列步骤:
步骤A,在写入模块(20)完成关联数据信息缓存之后,获取当前时间作为时间区段的起始时间点t启;
步骤B,计算运行节点集BP={bpb,bpb+1,…,bpc}中的各个节点使用随机延迟检查点文件处理方法得到进行时间区段的结束时间点t止;
步骤C,在确定了写入时间区段[t启,t止]之后,记录下计算运行节点集BP={bpb,bpb+1,…,bpc}中的各个节点存在的一个独立的随机值;
步骤D,在确定的随机值下,为计算运行节点集BP={bpb,bpb+1,…,bpc}中的各个节点确定一个在时间区段[t启,t止]中的相对时间位置;
步骤E,在确定的相对时间位置下,为计算运行节点集BP={bpb,bpb+1,…,bpc}中的各个节点确定一个预定的延迟写入时间;将预定延迟写入时间按照时间先后均匀分布到整个写入时间区段[t启,t止]中去,得到时间数轴;
步骤F,判断当前程序运行时间是否到达了预定延迟写入时间,是,则执行步骤J;否,执行步骤G;
步骤G,记录同一周期下的计算运行节点集BP={bpb,bpb+1,…,bpc}中的各个节点的反馈信息;
步骤H,通过反馈信息来获得评价参数并将与预先设定的阈值K阈值进行比较,若则执行步骤J;若则执行步骤I;
步骤I,当满足时,说明本地运行环境允许继续延迟,转到步骤F;
步骤J,将缓存的关联数据信息写入到外部存储系统(40),本次延迟检查点数据写入时间记为反馈写入时间且操作结束。
2.根据权利要求1所述的基于随机延迟缓解I/O瓶颈的大规模并行系统检查点数据写入方法,其特征在于:在大规模并行系统检查点数据写入过程中,采用执行模块(10)、写入模块(20)和恢复模块(30)来缓解对I/O子系统造成的冲击,在延迟写入时间计时完成后再将检查点数据写入外部存储系统(40)中。
3.根据权利要求1所述的基于随机延迟缓解I/O瓶颈的大规模并行系统检查点数据写入方法,其特征在于随机延迟检查点文件处理的具体步骤为:
步骤一,对于计算运行节点bpb的第一次随机延迟计算;
计算运行节点bpb在进行第一次随机延迟计算时,可参考使用预先设定的检查点保存周期T周期,所述T周期长度的1/3或1/2作为第一次计算时的时间区段[t启,t止]的长度,因此相应的结束点(右端点)以确保下次检查点操作之前完成写入保存操作;因此,所述bpb的第一次计算时的写入时间记为所述bpb的第一次计算时检查点文件大小记为所述bpb的第一次计算时检查点文件写入速率记为由于初始下的检查点写入过程不存在写入速率,因此赋值为零;
步骤二,对于计算运行节点bpb的第二次随机延迟计算;
所述bpb在第二次计算时需要获取第一次写入检查点文件的写入时间然后一方面使用和计算第二次写入检查点文件的写入速率,记为且另一方面使用和计算第二次写入检查点文件的写入时间,记为且所述bpb的第二次计算时检查点文件大小记为
步骤三,对于计算运行节点bpb的第三次随机延迟计算;
所述bpb在第三次计算时需要获取第二次写入检查点文件的写入时间然后一方面使用和计算第三次写入检查点文件的写入速率,记为且另一方面使用和计算第三次写入检查点文件的写入时间,记为且所述bpb的第三次计算时检查点文件大小记为
步骤四,对于计算运行节点bpb继第三次随机延迟计算之后的处理为:
在checkpoint写入过程中需要获取前一次写入checkpoint文件的写入时间然后一方面使用和计算当前次写入checkpoint文件的写入速率,记为且另一方面使用和计算当前次写入checkpoint文件的写入时间且
为在当前次d时写入checkpoint文件的写入时间;
为在前一次数d-1时写入checkpoint文件的写入时间;
为在当前次d时写入checkpoint文件的写入速率;
为在前一次数d-1时写入checkpoint文件的写入速率;
为在当前次d时的checkpoint文件的大小;
为在前一次数d-1时的checkpoint文件的大小;
直到,当用户程序退出后或检查点软件收到命令不再进行检查点操作后,写入检查点文件结束。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京航空航天大学,未经北京航空航天大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810188654.X/1.html,转载请声明来源钻瓜专利网。