[发明专利]一种本地对象的管理方法、装置、设备及介质

说明书

本发明公开了一种本地对象的管理方法，包括：创建用于记录各聚合文件的属性信息及聚合文件上无效数据的位置信息的无效数据链表；判断是否接收到用于写入目标数据的写入指令；如果是，根据无效数据链表中记录的位置信息，将需要写入的目标数据写入至目标无效数据对应的目标无效数据段以覆盖目标无效数据。由此可见，本发明能够及时地复用聚合文件的数据段进行存储，避免了转移有效数据的过程中会使磁盘产生大量的读写操作，减轻了对前端业务的实际读写操作的影响；实现存储空间的快速释放的同时，避免给磁盘带来额外的负载。此外，本发明所提供的一种本地对象的管理装置、设备及存储介质与上述方法对应。

技术领域

本发明涉及分布式存储技术领域，特别是涉及一种本地对象的管理方法、装置、设备及介质。

背景技术

随着分布式存储技术的快速发展，分布式存储在各行各业得到了广泛地应用。在分布式存储中，本地对象存储位于最底层，负责将数据实际写入磁盘中。在本地对象存储的对象聚合实现方式中，所有的对象按照时间顺序并以追加写的方式写到一个聚合文件中，文件大小默认为64MB，超出时自动切换到一个新的聚合文件。这样一个文件最终会分布到不同的聚合文件上，一个聚合文件也会包含不同文件的对象。

当修改写文件时，首先将新数据追加写到当前聚合文件中，然后将原数据所在的聚合文件相应的数据段置为无效状态；当删除一个文件时，直接将数据所在的聚合文件相应的数据段置为无效状态；当修改写或删除导致一个聚合文件上有无效数据时，会判断该聚合文件上是否还有有效数据，是则不作处理，此时不会释放存储空间；否则删除聚合文件并释放存储空间。对无效数据进行处理以释放存储空间的方式有两种：

(1)定时扫描机制。对象聚合机制会启动一个定时器，定时扫描所有的聚合文件，将有效数据转移到新的聚合文件中，然后删除原有的聚合文件，通过这种方式来实现存储空间的释放。

但是，该方法对存储空间的释放比较滞后，在存储空间已写满，删除后再立即写入的场景中无法使用，因为存储空间没有真正的释放，再次写入仍然会提示空间不足。并且，转移有效数据的过程中会使磁盘产生大量的读写，增加磁盘负载，从而影响前端业务的实际读写操作。

(2)聚合文件打洞机制。当聚合文件上产生了无效数据时，直接通过Linux系统的fallocate接口将无效数据段打洞，此时该部分空间会立即释放。该方式的缺陷是对同一个聚合文件频繁打洞会导致其xfs扩展属性丢失，而且频繁地打洞也会增加磁盘的负载。

由此可见，提供一种能够实现存储空间的快速释放，同时又能避免给磁盘带来额外的负载的本地对象的管理方法是当前亟待解决的问题。

发明内容

本发明的目的是提供一种本地对象的管理方法、装置、设备及介质，本发明通过在接收到写入指令时将需要写入的目标数据直接写入至目标无效数据段，能够及时地复用聚合文件的数据段进行存储，避免了转移有效数据的过程中会使磁盘产生大量的读写操作，减轻了对前端业务的实际读写操作的影响；并且，通过覆盖目标无效数据的方式，实现存储空间的快速释放的同时，避免给磁盘带来额外的负载。

为解决上述技术问题，本发明提供一种本地对象的管理方法，包括：

创建用于记录各聚合文件的属性信息及所述聚合文件上无效数据的位置信息的无效数据链表；

判断是否接收到用于写入目标数据的写入指令；

如果是，根据所述无效数据链表中记录的所述位置信息，将需要写入的所述目标数据写入至目标无效数据对应的目标无效数据段以覆盖所述目标无效数据。

优选地，所述目标无效数据具体为满足预设条件的无效数据；其中，所述预设条件具体为占用的无效数据段的长度大于或等于所述目标数据需要的数据段的长度。

优选地，所述位置信息具体包括所述无效数据在所述聚合文件中的偏移量和长度。