[发明专利]一种保证分布式存储系统服务器端读尾延迟的方法及系统有效
申请号: | 202011318905.5 | 申请日: | 2020-11-23 |
公开(公告)号: | CN112463044B | 公开(公告)日: | 2022-07-12 |
发明(设计)人: | 冷镇宇;蒋德钧;熊劲 | 申请(专利权)人: | 中国科学院计算技术研究所 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F9/50 |
代理公司: | 北京律诚同业知识产权代理有限公司 11006 | 代理人: | 祁建国 |
地址: | 100080 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 保证 分布式 存储系统 服务器端 延迟 方法 系统 | ||
1.一种保证分布式存储系统服务器端读尾延迟的方法,其特征在于,包括:
步骤1、根据应用的负载特征与延迟需求,将分布式存储系统中每一个应用分类为服务可延后的PT应用或服务不可延后PI应用;
步骤2、根据预设保证延迟值,计算PT应用借出的最大资源数量;
步骤3、PI应用所获得的服务速率为其平均发送速率,计算百分位延迟发生时的排队请求数量PQD_avg=PQL_avg*AR_avg,PI应用延迟SLO不被违反,百分位延迟发生时的排队请求数量最大值PQD_SLO=SLO*AR_avg,AR_avg为应用的请求平均发送速率,PQL_avg为百分位排队延迟,SLO为应用的延迟需求,通过PQD_avg减去PQD_SLO,得到PI应用借用的资源数量最大值QD_Reduce;
步骤4、PI应用借用相同资源所获得的收益大小,为各PI应用借用资源的优先级;
步骤5、设最小服务速率为PI应用的平均发送速率AR_avg,最大服务速率为该PI应用的最大发送速率AR_max,设PI应用借用的资源数量为QD_Reduce,通过二分查找,找到使借用资源后的百分位延迟PQL_Borrowed=(PQD_SR_Borrowed-QD_Reduce)/SR_Borrowed,以得到PI应用借用资源后所需的平均服务速率;其中,PQD_SR_Borrowed为该PI应用未借资源时获得服务速率SR_Borrowed下的百分位排队深度,SR_Borrowed为该PI应用借用资源后,百分位延迟与SLO相同情况下,PI所需的平均服务速率;
步骤6、根据PI应用借用资源的优先级和PI应用借用的资源数量最大值和每个PT应用借出的最大资源数量,通过动态规划的方法为当前PI应用分配多个PT应用,每次匹配后,从PT应用集合中剔除已匹配的PT应用,直到每个PI应用均借到资源或者PT应用全部匹配完毕;
步骤7、已匹配应用组合的总服务速率为PI应用借用资源后的预分配服务速率与应用组合中PT应用各平均发送速率之和;
步骤8、PI应用与其相匹配的PT应用共享该总服务速率,为每个PI应用以及与其相匹配的PT应用分配独立的队列,为应用组合中PI应用和各PT应用分配相应服务速率,并监控PT应用因出借资源造成的额外请求排队数量QD_Add,当QD_Add小于最大资源数量时,PI应用的服务优先级高于PT应用,允许该PI应用借用该PT应用的资源,当QD_Add与最大资源数量相同时,该PT应用的服务优先级高于PI应用,为PT应用预留与PT应用的平均发送速率相同的服务速率,若PI应用的请求发送速率低于PI应用的平均发送速率,则剩余的服务速率用于服务PT应用;
步骤9、应用接入分布式存储系统的存储节点时,为其分配一个队列,并根据存储节点当前的虚拟时间戳为队列分配虚拟时间戳TSi,为该应用的队列分配一个时间戳增加间隔TIi,TIi为预分配服务速率的倒数,对分布式存储系统中所有应用的时间戳进行排序,IO线程空闲后查找拥有最小时间戳的队列从中取出请求,并增加该最小时间戳的队列的时间戳TSi=TSi+TIi。
2.如权利要求1所述的保证分布式存储系统服务器端读尾延迟的方法,其特征在于,还包括:
步骤10、PT应用接入该存储节点时,为PT应用的队列设定可借出资源数量初值为该最大资源数量QD_Add_max;当IO线程空闲后查找拥有最小时间戳的队列,若该队列归属于PT应用,增加该队列的时间戳TSi=TSi+TIi,并读取可借出资源数量;若可借出资源数量大于0且对应的PI队列不为空,将PT应用的可借出资源数量减1,取出PI应用的请求进行服务;若可借出资源数量大于0且对应的PI队列为空,则取出PT队列中的请求服务,PT应用的借出资源数量不变;若可借出资源数量等于0,则取出PT队列中的请求进行服务,PT应用的可借出资源数量不变。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011318905.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种珍珠直径筛选装置
- 下一篇:一种基于物联网的植株培养室用喷灌装置