[发明专利]缓存回刷方法、装置、电子设备及存储介质

说明书

本申请提供一种缓存回刷方法、装置、电子设备及存储介质，涉及数据处理技术领域。所述方法包括：确定资源压力，所述资源压力包括日志盘使用率；基于所述资源压力确定缓存回刷速率；基于所述缓存回刷速率将回刷队列中与指定日志关联的指定数据块，以及所述指定数据块的前M数据块和后N数据块进行缓存回刷，M和N均为正整数。该方法将资源回收与资源压力进行了关联，根据资源压力来调节后端I/O聚合速率，可以保证资源压力大时的吞吐量需求，以及低压力时的I/O聚合效率，同时按照日志关联的数据块顺序回刷保证了每次回刷有效触发日志资源回收，从而稳定了日志资源的回收效率。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种缓存回刷方法、装置、电子设备及存储介质。

背景技术

现有的日志回收及对应的缓存回刷技术中，缓存在对象首次被置脏时将其放入回刷队列，等待后端线程回刷，并记录对象置脏时间戳；回刷线程定期检查缓存压力及回刷队列，缓存压力较大或有对象置脏超过一定时间阈值时触发回刷，对置脏时间超过阈值的对象按时间戳序回刷；回刷完成后，通知上层清理日志及关联资源。

基于上述现有技术条件，在日志盘的资源压力较大的情况下，恒定的回刷速率可能会出现回刷不及时，导致日志回收不及时而限流问题。

此外，日志模块和缓存模块作为两个独立模块，流程上是各自闭合的。但日志回收是依赖缓存数据回刷的，缓存模块看不到日志，回刷策略独立。当待回收日志对应数据回刷不及时，会导致日志空间不能及时回收，上层业务I/O被限制，造成高业务压力下日志频繁限流，系统处理能力的抖动。

因此现有的缓存回刷技术存在容易导致日志回收不及时而限流的问题。

发明内容

有鉴于此，本申请实施例的目的在于提供一种缓存回刷方法、装置、电子设备及存储介质，以改善现有技术中存在现有的缓存回刷技术存在容易导致日志回收不及时而限流的问题。

本申请实施例提供了一种缓存回刷方法，所述方法包括：确定资源压力，所述资源压力包括日志盘使用率；基于所述资源压力确定缓存回刷速率；基于所述缓存回刷速率将回刷队列中与指定日志关联的指定数据块，以及所述指定数据块的前M数据块和后N数据块进行缓存回刷，M和N均为正整数。

在上述实现方式中，将资源回收与资源压力进行了关联，根据资源压力来调节后端I/O聚合速率，可以保证资源压力大时的吞吐量需求，以及低压力时的I/O聚合效率，同时按照日志关联的数据块顺序回刷保证了每次回刷有效触发日志资源回收，从而稳定了日志资源的回收效率。

可选地，所述确定资源压力，包括：在所述日志盘使用率小于或等于第一预设使用率时，确定所述资源压力为资源充足；在所述日志盘使用率大于所述第一预设使用率且小于或等于第二预设使用率时，确定所述资源压力为资源正常；在所述日志盘使用率大于所述第二预设使用率时，确定所述资源压力为资源紧张，所述第一预设使用率小于所述第二预设使用率。

在上述实现方式中，基于日志盘使用率判定资源压力，从而进行后续缓存回刷速率调整，避免了缓存回刷对日志回收的有限资源的影响。

可选地，所述基于所述资源压力确定缓存回刷速率，包括：在资源充足时，确定所述缓存回刷速率为对所述缓存数据中的数据块进行定量回刷；在资源正常时，确定所述缓存回刷速率为基于置脏时间阈值对所述缓存数据中的数据块进行缓存回刷；在资源紧张时，确定所述缓存回刷速率为不检查置脏时间，基于所述回刷队列的排序对所述缓存数据中的数据块进行缓存回刷。

在上述实现方式中，在资源充足时定量回刷，优先聚合；在资源正常时基于置脏时间阈值对置脏时间超时的数据进行缓存回刷，保证聚合与资源回收的平衡；在资源紧张时不检查置脏时间加快缓存回刷速率，加快资源回收；从而在不同的资源压力下分别提出适应性缓存回刷方式，确保了缓存回刷速率能等价转换为日志资源回收效率。