[发明专利]一种CRDT垃圾数据回收方法、装置、设备及存储介质

说明书

本申请实施例公开了一种CRDT垃圾数据回收方法、装置、设备及存储介质。本申请实施例提供的技术方案通过获取对应逻辑删除操作及未执行垃圾回收流程的哈希键对应的哈希字段，并根据这些哈希字段在所有集群中的操作时间戳和数据操作信息确定对应的比较时间戳和删除操作信息，同时，基于一致性算法对比较时间戳和删除操作信息达成一致并同步到每个区域的只读节点，再由状态机根据比较时间戳和删除操作信息判断是否需要物理删除对应的哈希字段，通过一致性算法和CRDT垃圾数据回收相结合，从而有效物理删除垃圾数据，降低存储成本，优化系统性能，保证数据的正常管理。

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种CRDT垃圾数据回收方法、装置、设备及存储介质。

背景技术

对于全球服务业务，大多数业务系统都有跨区域(Region)部署、以及各种一致性能力的需求。

为了满足这种全球服务业务，可基于Spider架构提供CRDT(Conflict-freeReplicated Data Type，免冲突的可复制的数据类型)数据管理能力，通过一致性算法在区域内的读写数据提供一致性的能力，并通过CRDT来支持多区域同时读写数据、提供一致性的能力。

但是CRDT的使用带来了垃圾数据的产生，导致了存储空间的占用，不利于数据的管理。

发明内容

本申请实施例提供一种CRDT垃圾数据回收方法、装置、设备及存储介质，以对垃圾数据进行清理，保证数据的正常管理。

在第一方面，本申请实施例提供了一种CRDT垃圾数据回收方法，包括：

确定每个可读写节点对应哈希键集合中的哈希键以及所述哈希键对应的所有哈希字段，所述哈希键集合记录有对应逻辑删除操作及未执行垃圾回收流程的哈希键，并由可读写节点进行维护；

根据每个哈希字段在所有集群中的操作时间戳和数据操作信息，确定每个哈希字段对应的比较时间戳和删除操作信息，所述比较时间戳为全部区域的最大操作时间戳中最小的一个，一个区域对应一个或多个集群；

向所有区域发送所述比较时间戳和所述删除操作信息，以基于一致性算法同步至每个区域中可读写节点和只读节点；

由可读写节点和只读节点将所述比较时间戳和所述删除操作信息输入到状态机，由状态机根据所述比较时间戳和所述删除操作信息判断是否物理删除对应哈希字段。

在第二方面，本申请实施例提供了一种CRDT垃圾数据回收装置，包括字段确定模块、信息处理模块、信息同步模块和数据回收模块，其中：

字段确定模块，用于确定每个可读写节点对应哈希键集合中的哈希键以及所述哈希键对应的所有哈希字段，所述哈希键集合记录有对应逻辑删除操作及未执行垃圾回收流程的哈希键，并由可读写节点进行维护；

信息处理模块，用于根据每个哈希字段在所有集群中的操作时间戳和数据操作信息，确定每个哈希字段对应的比较时间戳和删除操作信息，所述比较时间戳为全部区域的最大操作时间戳中最小的一个，一个区域对应一个或多个集群；

信息同步模块，用于向所有区域发送所述比较时间戳和所述删除操作信息，以基于一致性算法同步至每个区域中可读写节点和只读节点；

数据回收模块，用于由可读写节点和只读节点将所述比较时间戳和所述删除操作信息输入到状态机，由状态机根据所述比较时间戳和所述删除操作信息判断是否物理删除对应哈希字段。

在第三方面，本申请实施例提供了一种计算机设备，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的CRDT垃圾数据回收方法。