[发明专利]一种数据对象纠删码存储方法、装置、设备及介质

说明书

本申请公开了一种数据对象纠删码存储方法、装置、设备及介质，涉及云计算数据中心技术领域，包括：获取数据对象读写请求，将数据对象读写请求保存至本地；基于数据对象读写请求对数据对象进行读写操作，确定出本地的当前剩余存储空间容量，判断当前剩余存储空间容量是否大于预设门限值，若当前剩余存储空间容量大于预设门限值，则从本地所有数据对象中筛选出待存储的目标数据对象；判断目标数据对象的类型，若目标数据对象的类型为主副本，则对目标数据对象进行纠删码编码操作，以得到各子目标数据对象；将各目标子数据对象发送并存储至集群中除自身外的其他节点。本申请能够提高数据对象纠删码存储利用率，降低成本，增加分布式存储系统稳定性。

技术领域

本发明涉及云计算数据中心技术领域，特别涉及一种数据对象纠删码存储方法、装置、设备及介质。

背景技术

分布式存储系统是将数据分散存储在多台独立的设备上，它采用可扩展的系统结构，利用多台存储服务器分担存储负荷，同时利用位置服务器定位存储信息，以Ceph(分布式文件系统)、VSAN(VMware Virtual SAN)为代表的软件定义存储是一个横向扩展、自动均衡、自愈合的分布式存储系统，将商用x86服务器、固态硬盘、机械硬盘等硬件资源整合为一个瘦供给的资源池，并以块存储、文件存储、对象存储、Restful API等多种接口方式提供存储服务。目前，在分布式存储系统中，通常采用多副本和纠删码来实现数据保护，纠删码就是将数据对象进行切分后再编码，它仍然是单个副本，但是由于需要为编码算法提供冗余校验码字，会导致副本数据本身存储空间的增加，纠删码的原理是将数据对象划分为n份，同时为n份数据增加m份数据作为冗余数据进行存储，根据采用的算法可以通过n+m份中的任意n份数据，还原为原始数据对象。如果把n+m份数据分布在存储系统的不同节点上，对于任意小于等于m个节点故障(m份数据失效)，都可以通过其他剩余的数据还原出原始数据，多副本就将数据对象一样多个副本的方式保存在分布式存储系统中的多个节点中，显然多副本是高可靠的，且实现简单，只要集群中存在至少一个副本对象就不会影响业务，然而，由于同一份数据对象在分布式系统中保存了多份，空间利用率偏低，无形中为企业级用户增加了存储成本，同时多副本之间的一致性模型也会导致写入性能的下降。

由上可见，如何提高数据对象纠删码存储的利用率，降低成本，增加分布式存储系统的稳定性是本领域有待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种数据对象纠删码存储方法、装置、设备及介质，能够提高数据对象纠删码存储的利用率，降低成本，增加分布式存储系统的稳定性。其具体方案如下：

第一方面，本申请公开了一种数据对象纠删码存储方法，应用于集群中的任意节点，包括：

获取数据对象读写请求，并将所述数据对象读写请求保存至本地；

基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，判断所述当前剩余存储空间容量是否大于预设门限值，若所述当前剩余存储空间容量大于预设门限值，则从本地的所有数据对象中筛选出待存储的目标数据对象；

判断所述目标数据对象的类型，若所述目标数据对象的类型为主副本，则对所述目标数据对象进行纠删码编码操作，以得到各子目标数据对象；

将各所述目标子数据对象分别发送并存储至集群中除自身外的其他节点。

可选的，所述获取数据对象读写请求，并将所述数据对象读写请求保存至本地，包括：

获取数据对象读写请求，并将所述数据对象读写请求保存至本地的网关；

将所述网关中的所述数据对象读写请求发送至本地的存储层。

可选的，所述基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，包括：