[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种数据处理方法、装置、电子设备及存储介质，该方法包括：读取分布式文件系统的当前目录信息，确定多个待合并子目录；针对各待合并子目录，从与当前待合并子目录所对应的至少一个存储块信息总复制待合并子数据，并根据各待合并子数据，确定待合并数据；针对各待合并数据，确定当前待合并数据的实际数据量，并根据各空闲存储块的预设数据量阈值，确定与所述当前待合并数据相对应的至少一个目标空闲存储块，以将所述当前待合并数据合并存储至所述至少一个目标空闲存储块中。本发明实施例的技术方案，能够将Hadoop文件系统中的数据进行集中存储，便于系统管理元数据，同时提高了文件系统的查询和读写效率。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着互联网行业的高速发展，越来越多的数据产生并被存储记录，大量数据构成的集合即是大数据，对互联网中的大数据进行存储、分析和利用，对政府、企业、组织甚至个人都意义重大。现有技术中，通常利用以分布式文件系统Hadoop为代表的应用平台来存储大数据，在此基础上，Hadoop文件系统的数据读写性能就显得尤为重要。

Hadoop文件系统中的数据存储块block的大小通常设置为默认值，即128MB，当存入系统的文件小于这个阈值时，可以直接保留原始文件并存储在数据块中，然而，当存储的文件大于这个阈值时，原始文件就会被分割成多个小文件并存储在多个数据块中，当小文件过多时，不仅利于系统对元数据的管理，还会增加硬盘寻址时间，对Hadoop文件系统的查询和读写效率产生影响。

因此，相关技术提供的方案中，缺乏有效的途径来避免因Hadoop文件系统中小文件过多而导致的上述问题。

发明内容

本发明提供一种数据处理方法、装置、电子设备及存储介质，以将Hadoop文件系统中的数据进行集中存储，便于系统管理元数据，同时提高了文件系统的查询和读写效率。

第一方面，本发明实施例提供了一种数据处理方法，该方法包括：

读取分布式文件系统的当前目录信息，确定多个待合并子目录；其中，每个待合并子目录中包括同一业务的数据在所述分布式系统中的至少一个存储块信息；存储块用于存储数据；

针对各待合并子目录，从与当前待合并目录所对应的至少一个存储块信息中复制待合并子数据，并根据各待合并子数据，确定待合并数据；

针对各待合并数据，确定当前待合并数据的实际数据量，并根据各空闲存储块的预设数据量阈值，确定与所述当前待合并数据相对应的至少一个目标空闲存储块，以将所述当前待合并数据合并存储至所述至少一个目标空闲存储块中。

第二方面，本发明实施例还提供了一种数据处理装置，该装置包括：

待合并子目录确定模块，用于读取分布式文件系统的当前目录信息，确定多个待合并子目录；其中，每个待合并子目录中包括同一业务的数据在所述分布式系统中的至少一个存储块信息；存储块用于存储数据；

待合并数据确定模块，用于针对各待合并子目录，从与当前待合并目录所对应的至少一个存储块信息中复制待合并子数据，并根据各待合并子数据，确定待合并数据；

合并存储模块，用于针对各待合并数据，确定当前待合并数据的实际数据量，并根据各空闲存储块的预设数据量阈值，确定与所述当前待合并数据相对应的至少一个目标空闲存储块，以将所述当前待合并数据合并存储至所述至少一个目标空闲存储块中。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，