[发明专利]一种写数据方法、装置及存储节点有效
申请号: | 201911031856.4 | 申请日: | 2019-10-28 |
公开(公告)号: | CN110928489B | 公开(公告)日: | 2022-09-09 |
发明(设计)人: | 谭春华;黄勇辉 | 申请(专利权)人: | 成都华为技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京中博世达专利商标代理有限公司 11274 | 代理人: | 申健 |
地址: | 610041 四川省成*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 方法 装置 存储 节点 | ||
一种写数据方法、装置及存储节点,涉及存储技术领域,能够解决在写请求的数量较小的情况下,聚合时延较大的问题。该写数据方法应用于分布式存储系统中的存储节点。存储节点确定第一并发数和第二并发数,第一并发数为聚合队列中在第一预设时间段的单位时间内并发写请求的数量,第二并发数为聚合队列中在第二预设时间段的单位时间内并发写请求的数量。若第一并发数和第二并发数之间的差值小于或等于预设数值,则存储节点根据第一并发数和第二并发数,计算得到目标并发数,并根据目标并发数,聚合聚合队列中写请求的数据,以及将聚合后的数据写入分布式缓存资源池。
技术领域
本申请涉及存储技术领域,尤其涉及一种写数据方法、装置及存储节点。
背景技术
在分布式存储系统中,为了减少写时延,存储节点通常将数据写到缓存后,就向主机反馈响应消息。之后,当缓存中存储的数据达到一定数据量时,存储节点将缓存中的数据写入磁盘,即完成刷盘(destage)操作。
在实际应用中,存储节点可能会在短时间内接收到大量的写请求。为了进一步减少写时延,存储节点在接收到每一写请求后,会将该写请求中的数据写入聚合队列。当聚合队列中数据的数量达到预设阈值或者数据在聚合队列中的时间超过预设时长时,存储节点将聚合队列中的数据进行聚合,并将聚合后的数据写到缓存。但是,在写请求的数量较小的情况下,该方法会引入聚合的时延,这样就又加大了写时延。
发明内容
本申请提供一种写数据方法、装置及存储节点,能够解决在写请求的数量较小的情况下,聚合时延较大的问题。
为达到上述目的,本申请采用如下技术方案:
第一方面,提供一种写数据方法,该写数据方法应用于分布式存储系统中的存储节点。具体的,存储节点确定第一并发数和第二并发数,这里,第一并发数为聚合队列中在第一预设时间段的单位时间内并发写请求的数量,第二并发数为聚合队列中在第二预设时间段的单位时间内并发写请求的数量,第一预设时间段的起始时刻和第二预设时间段的起始时刻均位于当前时刻之前,第一预设时间段的起始时刻与当前时刻之间的时间差小于或等于第一预设时长,第二预设时间段的起始时刻与当前时刻之间的时间差小于或等于第一预设时长。然后,若第一并发数和第二并发数之间的差值小于或等于预设数值,则存储节点根据第一并发数和第二并发数,计算得到目标并发数,之后,存储节点根据目标并发数,聚合聚合队列中写请求的数据,并将聚合后的数据写入分布式缓存资源池。其中,目标并发数用于表示聚合队列中在第一时长的单位时间内并发写请求的数量,第一时长包括第一预设时间段和第二预设时间段。
存储节点通过分析第一预设时间段和第二预设时间段内进入聚合队列的写请求的数量,确定当前时刻写请求的聚合数(与上述目标并发数对应),以及根据确定的聚合数对聚合队列中的写请求进行聚合。这样,存储节点能够根据实际业务需求,在不同情况下,采用不同的聚合数将聚合队列中的数据进行聚合,有效地降低了聚合时延。
可选的,在本申请的一种可能的实现方式中,存储节点还接收第一写请求,并判断该第一写请求中数据的大小是否小于分布式缓存资源池中分条的大小(分条的大小为预先设置的)。若第一写请求中数据的大小小于分条的大小,则存储节点将第一写请求写入聚合队列。若第一写请求中数据的大小大于或等于分条的大小,则存储节点将第一写请求写入分布式缓存资源池。
分布式缓存资源池包括多个子存储空间,每一存储空间可以采用分条表示。存储节点根据分条的大小和第一写请求中数据的大小,确定是否将第一写请求写入聚合队列。
可选的,在本申请的另一种可能的实现方式中,上述“存储节点确定第一并发数和第二并发数”的方法包括:存储节点确定在第一预设时间段内聚合队列中写请求的数量和非并发写请求的数量,以及在第二预设时间段内聚合队列中写请求的数量和非并发写请求的数量;并根据在第一预设时间段内聚合队列中写请求的数量和非并发写请求的数量,计算得到第一并发数;以及根据在第二预设时间段内聚合队列中写请求的数量和非并发写请求的数量,计算得到第二并发数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都华为技术有限公司,未经成都华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911031856.4/2.html,转载请声明来源钻瓜专利网。
- 上一篇:电卡钳制动间隙估算方法
- 下一篇:一种磁性畜骨炭化颗粒吸附剂的制备工艺
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置