[发明专利]一种存储缓存热点数据自恢复方法、系统及存储介质

说明书

本申请涉及一种存储缓存热点数据自恢复方法、系统及存储介质，其中方法过程包括：存储节点通过热度算法对数据块进行热度统计，按热度统计参数排序形成统计数据块信息的热度队列；存储节点将热度队列的内容写入恢复数据库；存设备故障恢复后，存储节点从所述恢复数据库中读取该存储节点热度队列内容；存储节点按照热度队列内容索引数据块并将数据块数据上拉到存储节点缓存设备中。本申请通过一种存储缓存热点数据自恢复系统及存储介质实现上述方法。本申请能够将存储节点热度队列内容存储在恢复数据库中，缓存故障导致热点数据丢失时，通过恢复数据库将热度队列内容恢复到存储节点，并据此将数据上拉到缓存设备，实现热点数据的快速缓存。

技术领域

本申请涉及存储系统缓存热点数据恢复方法领域，尤其涉及一种存储缓存热点数据自恢复方法、系统及存储介质。

背景技术

出于成本考虑，存储系统一般采用以HDD为代表的单盘容量大、价格便宜但读写性能相对较差的低速存储介质和以SSD、NVME为代表的单盘容量小、价格高读写性能优秀的高速存储介质作为缓存层。用户访问请求发送给存储系统后，先判断用户访问请求的数据是否在缓存层存在，如果用户访问请求的数据存在，直接从缓存层反馈，如果不存在，则需要通过读写性能低的HDD反馈，缓存层采用高读写性能的高速存储介质，在设置缓存层后，能够充分利用缓存层高速读写性能，使得存储系统为用户提供快速的数据访问体验。存储系统一般通过热度统计算法将用户访问频繁、访问量大的数据上拉至缓存层，用户在访问这些数据时可以直接从缓存层获得响应。

然而，如果存储系统的存储介质故障导致数据丢失，缓存层中丢失的数据分为两种，一种数据是分布式存储数据(存储系统各个节点相互配合存储数据)，这种数据可以通过多副本或者纠删码算法进行恢复，另一种是非分布式的数据，主要存储节点自身相关数据，这种数据(如缓存中存储的存储节点的热度数据以及热度信息)缺乏数据恢复机制，丢失无法通过其他存储节点的帮助进行恢复。当故障存储系统缓存层硬件更换后，由于缓存数据无法恢复，用户请求需要低速存储介质读写响应，低速存储介质读写性能差且热度统计算法需要相当长的时间对低速存储介质数据块进行热度统计，确定热度高的数据块然后缓存同步热度数据。对于用户来说，在这一阶段用户请求通过低速存储介质响应用户体验极差；对于存储系统的存储节点来说，如果发生大规模用户同时向低速存储介质发出请求，很容易达到存储系统的读写性能瓶颈，造成存储节点崩溃。因此，在存储系统缓存故障修复之后，需要在缓存中快速地恢复热点数据。

在缓存设备故障后，用户的访问行为对数据热度仍能造成影响，本申请的热度队列内容在缓存故障后仍能通过热度算法根据用户访问行为进行统计，在改变的情况下发给数据库。保证恢复到缓存设备的热度数据为最新的热度数据。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，在存储系统缓存故障修复之后，需要在缓存中快速地恢复热点数据。

第一方面，本申请提供了一种存储缓存热点数据自恢复方法，该方法包括：

存储节点通过热度算法对数据块进行热度统计，按热度统计参数排序形成统计数据块信息的热度队列；

存储节点将热度队列的内容写入恢复数据库；

存储节点缓存设备故障恢复后，存储节点从所述恢复数据库中读取该存储节点热度队列内容；

存储节点按照热度队列内容索引数据块并将数据块数据上拉到存储节点缓存设备中。

更进一步地，热度队列的内容包括热度算法计算的数据块的热度统计参数、数据块全局唯一编号以及数据块在存储系统中永久存储位置的索引。

更进一步地，存储节点将热度队列的内容写入恢复数据库包括：

存储节点监测热度队列的内容是否发生变化；

如果检测到热度队列内容发生变化，则将变化后的热度队列内容以增量的方式写入所述恢复数据库；