[发明专利]一种基于分布式对象存储系统分级迁移优化方法与系统

说明书

本发明提供了一种基于分布式对象存储系统分级迁移优化方法与系统，本发明在分布式对象存储系统的分级存储基础上，引入新的逻辑处理模块，各个对象存储网关根据集群配置文件中设置的迁移相关参数，从公共的存储池中读取迁移队列中的数据，优化各个节点的任务以及迁移对象，从而充分发挥存储集群中各个节点迁移数据的性能，进而避免各个节点在同一迁移周期中任务不均的情况，进一步提高用户的使用体验。

技术领域

本发明涉及分布式存储技术领域，特别是一种基于分布式对象存储系统分级迁移优化方法与系统。

背景技术

分布式对象存储系统，指的是面向非结构化数据的分布式存储。现阶段，越来越多的业务场景需要使用分布式对象存储系统。随着信息化的发展，越来越多的用户，选择将原来保存到数码设备上转移到云端存储上，家庭成员之间相互分享。工业4.0、智能制造、企业上云、大数据、电子政务、NASA卫星中心以及大型的射电望远镜等，越来越多企业和政府单位将数据放在存储集群集中管理。伴随着存储集群中数据量规模愈来愈大，如何基于分布式对象存储集群有限的硬件条件下，充分发挥现有的内存、SSD、HDD等硬件性能，为用户提供更好集群数据读写体验，越来越多的分布式对象存储集群采用了分级存储的策略。

在分布式对象存储集群的分级存储中，首先将集群中高速存储介质如RAM(内存)、NVME、SSD存储介质构建高速存储池，以廉价的HDD构建低速归档存储池。相对低速归档池，高速存储池有绝对的性能优势，然而由于价格等因素，实际使用中高速存储池的容量远远小于低速归档存储池。在使用过程中要当高速存储池中数据达到一定水位时，要通过一定的淘汰算法将高速存储池中最近最少使用的对象，加入到迁移淘汰队列中，然后迁移线程将从迁移队列中获取要迁移的对象进行迁移。然而如果只是基于桶ID+文件名进行简单的分配任务，由于对象大小不同引发条带数据不同，引发文件迁移IO次数不同，从而造成各个业务节点实际任务不均，负载不均衡，甚至影响集群的性能，甚至影响用户体验。

发明内容

本发明的目的是提供一种基于分布式对象存储系统分级迁移优化方法与系统，旨在解决现有技术中分级存储在迁移时造成任务不均、负载不均衡的问题，实现平衡各个节点迁移数据的性能，提高用户体验。

为达到上述技术目的，本发明提供了一种基于分布式对象存储系统分级迁移优化方法，所述方法包括以下操作：

启动对象存储网关，从配置文件中加载迁移任务相关的配置参数；

周期性扫描高速存储池的使用水位，水位到达配置参数中存储的迁移触发水位时，初始化迁移任务，向高速存储池迁移队列添加迁移队列锁，获取要处理的文件在队列的任务标识；

从迁移队列中依次读取文件信息，将文件信息加入到迁移任务中，并更新迁移任务的待处理文件大小、数量以及切片数；

当迁移任务待处理文件大小、数量或切片数达到配置参数中的设定阈值，则将任务标识更新到当前文件；

释放迁移队列锁，并将迁移队列转交给其他网关读取，并开始本网关的数据迁移任务，高速池向低速归档池迁移对象。

优选地，所述迁移任务相关的配置参数包括存储的迁移触发水位、迁移任务最大文件个数、迁移任务最大文件大小以及迁移线程数目。

优选地，所述文件信息包括桶名+文件名、文件源数据池、目标数据池以及文件的切片数。

优选地，所述迁移任务根据迁移线程数目初始化数据迁移线程池。

本发明还提供了一种基于分布式对象存储系统分级迁移优化系统，所述系统包括：

配置参数加载模块，用于启动对象存储网关，从配置文件中加载迁移任务相关的配置参数；