[发明专利]一种数据下刷方法、装置、缓存节点及分布式存储系统

说明书

本发明实施例提供了一种数据下刷方法、装置、缓存节点及分布式存储系统，分布式存储系统中的缓存节点获取自身的当前空间使用率以及空间使用率矫正系数，根据空间使用率矫正系数，对当前空间使用率进行矫正，得到矫正后的空间使用率，若矫正后的空间使用率超过预设阈值，则下刷缓存节点本地存储的数据至存储节点。矫正的空间使用率超过预设阈值，说明如果故障的缓存节点上的数据全部重构到未故障的缓存节点上会导致未故障的缓存节点产生数据溢出，因此，在数据重构之前，对未故障的缓存节点进行数据下刷，提前将缓存节点存储的数据发送到存储节点，则在数据重构时不会引起未故障的缓存节点溢出，保证了重构业务的正常进行。

技术领域

本发明涉及分布式存储技术领域，特别是涉及一种数据下刷方法、装置、缓存节点及分布式存储系统。

背景技术

分布式存储系统包括多个存储节点，可以提供海量数据的存储服务。传统的分布式存储系统中，存储节点一般使用SAS(Serial Attached Small Computer SystemInterface，串行连接小型计算机系统接口)、SATA(Serial Advanced TechnologyAttachment，一种基于行业标准的串行硬件驱动器接口)的机械硬盘，机械硬盘的访问速度较慢，导致分布式存储系统对数据的读写速度较慢。

为了解决上述问题，在分布式存储系统中增加缓存节点(如固态硬盘)，如图1所示，缓存节点用于存储热点数据、提供高速的I/O(Input/Output，输入/输出)服务，存储节点用于存储非热点数据、提供慢速的I/O服务。分布式存储系统客户端在接收到数据后，会先将数据存储至缓存节点，实现对数据的快速读写，而当缓存节点的空间使用率达到一定阈值后(即缓存节点已经存储大量的数据，如果再继续存储更多的数据，会出现数据溢出等现象，影响缓存节点的服务性能)，此时，需要将缓存节点中的数据发送到存储节点存储，释放缓存节点的缓存空间，以使缓存空间能够接收新的数据，通常称这个过程为数据下刷，通过数据下刷使得缓存节点的空间使用率维持在阈值以下，保证缓存节点具有较高的服务性能。

然而，在实际场景中，缓存节点可能会发生故障，在缓存节点发生故障时，如果没有对故障的缓存节点进行更换，故障的缓存节点上的数据会自动重构到剩下未故障的缓存节点上，如果未故障的缓存节点空间不足，很容易出现缓存节点溢出的现象，导致重构业务失败。

发明内容

本发明实施例的目的在于提供一种数据下刷方法、装置、缓存节点及分布式存储系统，以保证重构业务的正常进行。具体技术方案如下：

第一方面，本发明实施例提供了一种数据下刷方法，应用于分布式存储系统中的缓存节点，分布式存储系统包括缓存节点和存储节点，该方法包括：

缓存节点获取自身的当前空间使用率以及空间使用率矫正系数，其中，空间使用率矫正系数表征分布式存储系统中当前未故障的缓存节点数目占缓存节点总数目的比例；

根据空间使用率矫正系数，对当前空间使用率进行矫正，得到矫正后的空间使用率；

若矫正后的空间使用率超过预设阈值，则下刷缓存节点本地存储的数据至存储节点。

可选的，获取自身的当前空间使用率的步骤，包括：

定时获取自身的当前空间使用量以及缓存节点自身的总容量；

根据当前空间使用量及总容量，计算缓存节点自身的当前空间使用率。

可选的，分布式存储系统还包括管理节点；获取空间使用率矫正系数，包括：

定时向管理节点发送触发请求，以触发管理节点统计分布式存储系统中当前未故障的缓存节点数目及缓存节点总数目，并计算缓存节点数目占缓存节点总数目的比例作为空间使用率矫正系数；

接收管理节点反馈的空间使用率矫正系数。