[发明专利]分布式存储系统的数据存储方法、系统、设备及存储介质

说明书

本申请公开了一种分布式存储系统的数据存储方法、系统、设备及存储介质，应用于存储技术领域，分布式存储系统中包括多个硬盘集群，1个硬盘集群中包括多个型号相同的硬盘，且均在同一批次加入分布式存储系统，包括：接收待写入数据并划分出数据类型当待写入数据的数据类型为第i数据类型时，判断当前是否存在第i状态的硬盘集群；如果是，则选取出1个第i状态的硬盘集群；将待写入数据写入选取出的该第i状态的硬盘集群中；其中，待写入数据在第一时长内的修改次数预估值越低，该待写入数据被写入磨损度越高的硬盘集群中。应用本申请的方案，实现了分布式存储系统的全局磨损均衡，保障硬盘耐久度，可以避免出现频繁进行坏盘更换的情况。

技术领域

本发明涉及存储技术领域，特别是涉及一种分布式存储系统的数据存储方法、系统、设备及存储介质。

背景技术

闪存介质经过了四代的发展，当前大规模使用的是TLC（Triple Level Cell，三层式储存单元），QLC（Quad Level Cell，四层式储存单元）也即将进入量产。每一代和上一代相比，数据密度更高，价格更便宜，耐久度更低，性能变低，能效比在提高，这些都是由闪存的物理特性所决定的。但QLC有两个主要缺点，一个是性能低，一个耐久度差。关于耐久度差，即P/E（Program/Erase cycle，固态存储擦除周期）在快速下降，目前使用的办法是在一个SSD（Solid-State Drives，固态硬盘驱动器）盘内做磨损均衡，目前的QLC的P/E已经下降到了1000左右，但是在分布式系统中上述做法所取得的效果有限，分布式系统中存在成千上万的QLC SSD盘，而每个盘所写的数据量不均衡，并且由于新盘和旧盘的原因，使得有的盘很快就坏了，有的盘可以用很久，QLC的低成本特性就体现不出来，并且频繁地进行坏盘的更换也增大了运维成本。

综上所述，如何有效地提高硬盘的耐久度，避免频繁地进行坏盘的更换，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种分布式存储系统的数据存储方法、系统、设备及存储介质，以有效地提高硬盘的耐久度，避免频繁地进行坏盘的更换。

为解决上述技术问题，本发明提供如下技术方案：

一种分布式存储系统的数据存储方法，所述分布式存储系统中包括多个硬盘集群，所述硬盘集群中包括多个型号相同的硬盘，且同一所述硬盘集群中的各个硬盘均在同一批次加入所述分布式存储系统，所述分布式存储系统的数据存储方法包括：

接收待写入数据，并划分出所述待写入数据的数据类型；其中，在设定的N种数据类型中，第i+1数据类型的待写入数据在第一时长内的修改次数预估值，高于第i数据类型的待写入数据在第一时长内的修改次数预估值，N为不小于2的正整数；

当所述待写入数据的数据类型为第i数据类型时，判断当前是否存在第i状态的硬盘集群；

如果是，则选取出1个第i状态的硬盘集群；

将所述待写入数据写入选取出的该第i状态的硬盘集群中；其中，在设定的N种状态的硬盘集群中，第i+1状态的硬盘集群的磨损度低于第i状态的硬盘集群的磨损度，i为正整数。

优选的，所述划分出所述待写入数据的数据类型，包括：

基于所述待写入数据的文件名，划分出所述待写入数据的数据类型。

优选的，所述基于所述待写入数据的文件名，划分出所述待写入数据的数据类型，包括：

当所述待写入数据的文件名与预设的第j数据库匹配时，将所述待写入数据的数据类型划分为第j数据类型；其中，j为正整数且1≤j≤N-1；

当所述待写入数据的文件名与预设的N-1个数据库均不匹配时，将所述待写入数据的数据类型划分为第N数据类型。

优选的，还包括：

以文件名作为训练样本，以训练样本在第一时长内的修改次数统计值作为所述训练样本的训练标签，对预设的深度学习模型进行训练；