[发明专利]自适应的数据恢复流控方法、装置、电子设备及存储介质有效
申请号: | 201810565004.2 | 申请日: | 2018-06-04 |
公开(公告)号: | CN108804039B | 公开(公告)日: | 2021-01-29 |
发明(设计)人: | 陈学伟 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 深圳市赛恩倍吉知识产权代理有限公司 44334 | 代理人: | 杨毅玲 |
地址: | 518000 广东省深*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 自适应 数据 恢复 方法 装置 电子设备 存储 介质 | ||
1.一种自适应的数据恢复流控方法,其特征在于,所述方法包括:
a)定期同步分布式存储系统中的各个存储节点的信息;
b)侦测是否有存储节点发生了故障;
c)当侦测到有存储节点发生了故障时,获取发生故障的存储节点的存储列表;
d)识别上一个统计周期内用户应用的IO负载类别,所述识别上一个统计周期内用户应用的IO负载类别包括:获取所述上一个统计周期内用户应用的每一个IO的数据块大小,计算所述上一个统计周期内的IO的平均数据块大小;获取所述上一个统计周期内的每个数据块的传输时延,计算所述上一个统计周期内的IO的平均数据块时延;获取预先设置的IO的数据块大小的基准值及对应的数据块时延的基准值;采用公式计算所述上一个统计周期内的IO负载强度,其中,X为所述上一个统计周期内的所述IO的平均数据块大小,Y为所述平均数据块时延,M为所述数据块大小的基准值,N为所述对应的数据块时延的基准值;根据所述上一个统计周期内的IO负载强度,利用预先训练好的负载分类模型确定所述上一个统计周期内的IO负载类别;
e)根据所述上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值;
f)根据所述存储列表及所述当前统计周期对应的流控阈值,对发生故障的存储节点的当前统计周期内的数据执行恢复操作;
重复执行d)-f),直至对所述发生故障的存储节点的所有统计周期内的数据执行了恢复操作。
2.如权利要求1所述的方法,其特征在于,所述根据所述上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值包括:
采用预先设置的流控阈值作为第一个统计周期对应的流控阈值。
3.如权利要求1所述的方法,其特征在于,所述IO负载类别包括:高负载类别、正常负载类别、低负载类别,所述根据上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值包括:
当所述上一个统计周期内的IO负载类别为高负载类别时,将所述上一个统计周期对应的流控阈值降低第一预设幅度,得到当前统计周期对应的流控阈值;
当所述上一个统计周期内的IO负载类别为低负载类别时,将所述上一个统计周期对应的流控阈值提高第二预设幅度,得到下一个统计周期对应的流控阈值;
当所述上一个统计周期内的IO负载类别为正常负载类别时,将所述上一个统计周期对应的流控阈值作为当前统计周期对应的流控阈值。
4.如权利要求1所述的方法,其特征在于,所述侦测是否有存储节点发生故障包括:
侦测所述分布式存储系统中的任何一个或者多个存储节点是否发生了无法启动、断电或断网;或者
侦测所述分布式存储系统中的任何一个或者多个存储节点中的磁盘是否发生了故障。
5.如权利要求1至4中任意一项所述的方法,其特征在于,所述同步分布式存储系统中的各个存储节点的信息包括:
由所述分布式存储系统中的一个存储中心执行各个存储节点的信息同步;或者
采用去中心化的方法,由所述分布式存储系统中的任何一个存储节点发起各个存储节点的信息同步。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810565004.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置