[发明专利]数据分片的处理以及垃圾文件的删除方法和装置

说明书

本发明实施例公开了一种数据分片的处理以及垃圾文件的删除方法和装置。数据分片的处理方法包括：在分布式全序存储系统生成全序数据分片的过程中，获取与数据分片对应的至少一个属性描述信息，其中，属性描述信息包括数据迭代信息；将属性描述信息写入与数据分片对应的文件元信息中；在接收到对至少一个目标数据分片的处理指示时，对与目标数据分片对应的文件元信息中的数据迭代信息进行处理，以实现对目标数据分片的处理。本发明的技术方案实现了无需对数据文件进行任何移动或修改，即可完成对所述目标数据分片进行处理的技术效果，优化了现有的分布式全序存储系统中数据分片的处理机制，满足人们日益增长的便捷化、高效化的数据分片的处理需求。

技术领域

本发明实施例涉及计算机技术，尤其涉及一种数据分片的处理以及垃圾文件的删除方法和装置。

背景技术

一般来说，数据在数据库中主要通过Key-Value(键值对)的方式进行存储。每一个键名(Key)中存储有对应的键值(Value)，通过键名可以查找到相应的键值，进而可以对该键值完成一定的数据操作。此外，为了实现对数据库中数据的快速读写，数据库中存储的数据一般为全序数据。

全序数据在逻辑上看是一个按key排序的超大数据集(数据行数在万亿量级以上)，由于其数据量巨大，仅通过一个或者几个服务器是无法将超大数据集完全存储下来的。因此，在现有的分布式全序存储系统中，需要将海量全序数据以分布式的方式分散存储在服务器集群的各个数据分片中。其中，不同的数据分片存储于一个或者多个分片服务器，不同分片中所存储的数据信息范围被统一存储于管理服务器的分片元信息中。这样，多个分片服务器通过一个管理服务器进行统一的调度配置，即可实现对全序数据的各类操作。

显然，数据库中存储的全序数据是动态变化的，随着对数据的持续增删操作，分片的大小会发生变化，因此需要对较大分片进行分裂，并对较小的分片进行合并，而如何将存储全序数据的数据分片进行合理且高效的分裂/合并是目前一个非常重要的研究课题。

现有的分片分裂/合并技术的实现方法主要有如下两种：

1、离线分裂/合并。本方案在分片分裂/合并的时候需要停止服务。然后将分片内的旧数据离线写入至新分片中，再修改分片元信息生效。这种实现的分裂/合并效率非常低，需要增加一倍的带宽/计算资源，且需要长时间停止服务，在对实时性要求较高的场景下是不可接受的；

2、基于文件链接的分裂。在本方案中，分片的物理存储对应于一个文件系统目录，如果生成新的分片，只需要在新分片目录下创建旧文件的链接。这种方案无需移动数据，可在线分裂，无需停止服务。但需要依赖文件系统的链接功能，且无法有效实现分片合并。

发明内容

有鉴于此，本发明实施例提供一种数据分片的处理以及垃圾文件的删除方法和装置，以优化现有的分布式全序存储系统中数据分片的处理机制，满足人们日益增长的便捷化、高效化的数据分片的处理需求。

在第一方面，本发明实施例提供了一种分布式全序存储系统中数据分片的处理方法，包括：

在分布式全序存储系统生成全序数据分片的过程中，获取与所述数据分片对应的至少一个属性描述信息，其中，所述属性描述信息包括数据迭代信息；

将所述属性描述信息写入与所述数据分片对应的文件元信息中；

在接收到对至少一个目标数据分片的处理指示时，对与所述目标数据分片对应的文件元信息中的数据迭代信息进行处理，以实现对所述目标数据分片的处理。

在第二方面，本发明实施例提供了一种垃圾文件的删除方法，包括：

查询分布式全序存储系统中与各数据分片对应的文件元信息，获取第一文件列表，其中，所述文件元信息中存储有与数据分片对应的属性描述信息，且所述属性描述信息中包括有数据迭代信息；