[发明专利]一种基于下刷速度调整业务速度的方法和装置

说明书

本发明提供一种基于下刷速度调整业务速度的方法、系统、设备和存储介质，方法包括：设置预警阈值，并将所述预警阈值写入内存；创建下刷线程将缓存池中的数据下刷到存储池，并每隔预设时间检测所述缓存池的当前水位是否超过所述预警阈值；响应于所述缓存池的当前水位超过所述预警阈值，根据所述缓存池的当前下刷速率申请写入权限；以及根据所述写入权限将客户端的数据写入所述缓存池。本发明当水位超过预警阈值时基于统计出的下刷速率为写入请求申请权限，只有当获取到权限才可执行业务的实际执行，从而有效预防缓存池被写满。

技术领域

本发明涉及分布式存储系统领域，更具体地，特别是指一种基于下刷速度调整业务速度的方法、系统、设备和存储介质。

背景技术

在当前大数据的时代，数据的收集、传输及存储面临诸多挑战；面对海量数据，要求高效的、一致性的存储，这已成为当前各类业务系统的迫切需求；作为各类存储系统中数据最终的存储介质，在存储器的容量性价比的方面HDD(Hard Disk Drive，机械硬盘)仍具有非常大的优势，但在面对上层业务系统对IOPS(Input/Output Per Seconds，每秒输入输出的量)越来越高的要求时已显得力不从心；在小IO的读写速度方面，SSD(Solid StateDisk/Drive，固态硬盘)/NVMe(Non Volatile Memory Express，非易失性存储器标准)等新型存储介质优势明显，但终因价格高导致性价比相对较低的原因而不能在商业系统中大批量使用。

如何基于当前硬件存储器的实际情况，来满足业务系统的实际需求是需要解决的实际问题，在实现存储系统时会做分层处理，即，使用少量SSD/NVMe作为缓存池，提升存储集群的IOPS，后端使用大量的HDD用作数据的持久化存储，存储系统通过数据下刷策略，将数据从缓冲池固化到底层存储池中；但因SSD/NVMe的IOPS远超HDD，所以业务在持续全速写时会出现缓存池满的情况，从而导致整个存储集群拒绝服务。

发明内容

有鉴于此，本发明实施例的目的在于提出一种基于下刷速度调整业务速度的方法、系统、计算机设备及计算机可读存储介质，本发明当水位超过预警阈值时基于统计出的下刷速率为写入请求申请权限，只有当获取到权限才可执行业务的实际执行，从而有效预防缓存池被写满；与未对基于下刷速率进行业务限速的系统相比，能在保证业务IOPS相对稳定的情况下有效避免了存储池被写满，保证了存储系统的稳定运行。

基于上述目的，本发明实施例的一方面提供了一种基于下刷速度调整业务速度的方法，包括如下步骤：设置预警阈值，并将所述预警阈值写入内存；创建下刷线程将缓存池中的数据下刷到存储池，并每隔预设时间检测所述缓存池的当前水位是否超过所述预警阈值；响应于所述缓存池的当前水位超过所述预警阈值，根据所述缓存池的当前下刷速率申请写入权限；以及根据所述写入权限将客户端的数据写入所述缓存池。

在一些实施方式中，所述根据所述缓存池的当前下刷速率申请写入权限包括：根据所述缓存池的当前下刷速率确定写入所述缓存池数据的速率，并根据写入所述缓存池数据的速率确定所述写入权限对应的速率。

在一些实施方式中，所述根据所述缓存池的当前下刷速率确定写入所述缓存池数据的速率包括：响应于所述缓存池的当前下刷速率大于第一阈值，将写入所述缓存池数据的速率设置为第一阈值对应的速率；以及响应于所述缓存池的当前下刷速率小于或等于第一阈值，将写入所述缓存池数据的速率设置为所述缓存池的当前下刷速率的一半。

在一些实施方式中，所述根据写入所述缓存池数据的速率确定所述写入权限对应的速率包括：将所述写入权限对应的速率设置成与所述写入所述缓存池数据的速率相等。