[发明专利]数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

读取分布式文件系统的当前目录信息，确定多个待合并子目录；其中，每个待合并子目录中包括同一业务的数据在所述分布式系统中的至少一个存储块信息；存储块用于存储数据；

针对各待合并子目录，从与当前待合并目录所对应的至少一个存储块信息中复制待合并子数据，并根据各待合并子数据，确定待合并数据；

针对各待合并数据，确定当前待合并数据的实际数据量，并根据各空闲存储块的预设数据量阈值，确定与所述当前待合并数据相对应的至少一个目标空闲存储块，以将所述当前待合并数据合并存储至所述至少一个目标空闲存储块中。

2.根据权利要求1所述的方法，其特征在于，还包括：

当检测到当前时刻与预设起始时刻相匹配时，执行读取所述分布式文件系统的当前目录信息，以确定所述至少一个目标空闲存储块；

当检测到当前时刻与预设终止时刻相匹配时，停止读取所述多个待合并子目录。

3.根据权利要求1所述的方法，其特征在于，所述存储块信息中包括存储块物理地址和待合并子数据在所述存储块中的存储字节信息，所述从与当前待合并目录所对应的至少一个存储块信息中复制待合并子数据，包括：

根据当前待合并目录所对应的存储块的物理地址和相应的存储字节信息，从相应存储块中复制各待合并子数据。

4.根据权利要求1所述的方法，其特征在于，在所述确定当前待合并数据的实际数据量，并根据各空闲存储块的预设数据量阈值，确定与所述当前待合并数据相对应的至少一个目标空闲存储块之前，还包括：

确定当前待合并数据中各待合并子数据的实际子数据量，当检测到所述实际子数据量大于预设数据量阈值，则根据所述当前待合并子数据所对应的待合并子目录，确定与所述实际子数据量相对应的待合并子数据的待处理存储块信息。

5.根据权利要求4所述的方法，其特征在于，所述确定当前待合并数据的实际数据量，并根据各空闲存储块的预设数据量阈值，确定与所述当前待合并数据相对应的至少一个目标空闲存储块，包括：

将实际子数据量小于预设数据量阈值的待合并子数据进行数据量叠加，并在检测到叠加数据量达到所述预设数据量阈值，则停止叠加，得到第一待存储数据，并重复执行将剩余的待合并子数据进行数据量叠加，并根据所述预设数据量阈值，得到至少一个待存储数据；其中，所述待存储数据是多个待合并子数据合并后确定的；

根据所述待存储数据的数量和所述待处理存储块信息，确定至少一个目标空闲存储块。

6.根据权利要求1所述的方法，其特征在于，还包括：

将与各待合并数据所对应的至少一个目标空闲存储块的对应关系，存储至预先创建的临时目录中，并将与所述多个待合并子目录所对应的存储块中的数据剪切至目标存储位置。

7.根据权利要求6述的方法，其特征在于，还包括：

基于所述对应关系，更新各所述分布式文件系统的各个待合并子目录，并将更新后的目录信息作为当前目录信息。

8.根据权利要求7所述的方法，其特征在于，还包括：

当检测到基于目标搜索引擎从所述分布式文件系统中搜索数据时，基于更新后的当前目录信息更新各业务方与所述当前目录信息之间的映射关系表，以基于所述映射关系表搜索目标数据。