[发明专利]一种数据下刷方法和系统

说明书

本发明公开了一种数据下刷方法和系统，方法包括：响应于接收到大对象而将大对象存入高容量存储介质，同时响应于接收到小对象而将小对象存入高性能存储介质；统计在上一个下刷周期内用户读写业务的大对象读写比例、以及高容量存储介质当前的状态和水位信息；在高性能存储介质中确定将待下刷数据，基于大对象读写比例、状态和水位信息确定下刷速度，以在本下刷周期内将待下刷数据下刷到高容量存储介质。本发明能够提高数据下刷效率。

技术领域

本发明涉及数据下刷领域，更具体地，特别是指一种数据下刷方法和系统。

背景技术

随着云计算技术的兴起和普及，分布式共享存储系统越来越开始受到业界的关注。当前在分布式存储系统中，一般会将用户访问频率高的数据放在高性能的存储介质中，把大量低频访问的数据放在大容量性能低的存储池介质中。随着数据访问频率及缓存数据盘水位的变化，会将部分数据从高性能存储介质中下刷到性能相对较低的存储介质中方式提升集群的读写性能。

但是数据从高性能介质下刷到性能相对较低的存储介质(如HDD，即机械硬盘)时，往往没有考虑存储集群的状态，以及HDD的状态及水位，可能影响前端业务的读写或者将HDD盘写满等问题，导致下刷效率受到影响。

针对现有技术数据下刷效率低的问题，目前尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种数据下刷方法和系统，能够提高数据下刷效率。

基于上述目的，本发明实施例的第一方面提供了一种数据下刷方法，包括在每个下刷周期内执行以下步骤：

获取在上一个下刷周期内用户读写业务的大对象读写比例、以及高容量存储介质当前的状态和水位信息；

在高性能存储介质中确定将待下刷数据，基于大对象读写比例、状态和水位信息确定下刷速度，以在本下刷周期内将待下刷数据下刷到高容量存储介质。

在一些实施方式中，还包括在每个下刷周期内先执行以下步骤：响应于接收对象的数据尺寸超过大对象阈值而确定为大对象，响应于对象的数据尺寸不超过大对象阈值而确定为小对象；响应于接收到大对象而将大对象存入高容量存储介质，同时响应于接收到小对象而将小对象存入高性能存储介质。

在一些实施方式中，响应于接收到大对象而将大对象存入高容量存储介质包括：将大对象存入多个高容量存储介质中的在本下刷周期内激活的高容量存储介质；

获取在上一个下刷周期内用户读写业务的大对象读写比例包括：获取在上一个下刷周期内激活的高容量存储介质的大对象读写比例；

获取高容量存储介质当前的状态和水位信息包括：获取在本下刷周期内激活的高容量存储介质的状态和水位信息。

在一些实施方式中，基于大对象读写比例、状态和水位信息确定下刷速度包括：

响应于大对象读写比例为零、高容量存储介质延迟小于10毫秒并且水位低于50％，而将最大下刷速度确定为下刷速度；

响应于大对象读写比例为零到50％、高容量存储介质利用率低于30％并且水位低于50％，而将低于最大下刷速度的第一下刷速度确定为下刷速度；

响应于大对象读写比例为50％到80％、高容量存储介质利用率超过80％并且水位超过85％，而将低于第一下刷速度的第二下刷速度确定为下刷速度；

响应于大对象读写大于80％、高容量存储介质水位超过95％、或延迟超过300毫秒，而停止下刷。

在一些实施方式中，第一下刷速度为所述最大下刷速度的40-60％，第二下刷速度为所述最大下刷速度的10-30％。

本发明实施例的第二方面提供了一种数据下刷系统，包括：

处理器；和