[发明专利]数据合并方法、装置、电子设备、存储介质及程序产品

说明书

本公开实施例公开了一种数据合并方法、装置、电子设备、存储介质及程序产品，所述方法包括：响应于对分布式文件系统的数据写入成功事件，读取当前的数据写入操作涉及的分布式文件目录下的文件信息；根据所述文件信息确定文件大小小于第一预设阈值的目标文件；在所述目标文件为多个时，将多个所述目标文件进行合并。该技术方案在通过本公开实施例这种方式，可以避免Spark写文件过程中产生过多小文件，进而能够提高分布式文件系统的文件管理效率，以及数据查询性能等。

技术领域

本公开实施例涉及计算机技术领域，具体涉及一种数据合并方法、装置、电子设备、存储介质及程序产品。

背景技术

在大数据时代，随着互联网技术的迅速崛起与普及，人们在不同领域采集到的数据量之大，达到了前所未有的程度。同时，数据的产生、存储和处理方式发生了革命性的变化，人们的工作和生活基本上都可以用数字化表示，数据的使用查询非常频繁。

Spark是专为大规模数据处理而设计的快速通用的计算引擎，是现在形成一个高速发展应用广泛的生态系统。Spark可完成各种各样的运算，包括SQL查询、文本处理、机器学习等。Spark还提供了大量的库，包括Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX。然而，通过Spark SQL或者Spark Streaming写Hive或者直接写入HDFS时，过多的小文件会对NameNode内存管理等产生巨大的压力，会影响整个集群的稳定运行。因此，如何解决Spark在写Hive或者直接写入HDFS时产生过多小文件已成为本领域技术人员需要解决的主要问题之一。

发明内容

本公开实施例提供一种数据合并方法、装置、电子设备、存储介质及程序产品。

第一方面，本公开实施例中提供了一种数据合并方法，包括：

响应于对分布式文件系统的数据写入成功事件，读取当前的数据写入操作涉及的分布式文件目录下的文件信息；

根据所述文件信息确定文件大小小于第一预设阈值的目标文件；

在所述目标文件为多个时，将多个所述目标文件进行合并。

进一步地，所述数据写入操作包括大数据处理分析引擎将数据处理结果写入所述分布式文件系统的操作。

进一步地，所述方法还包括：

响应于当前任务向所述分布式文件系统输出数据的请求，向所述分布式文件系统发送数据写入请求，以将所要输出的数据写入所述分布式文件系统的所述分布式文件目录下；

接收所述分布式文件系统返回的所述数据写入成功事件。

进一步地，所述第一预设阈值基于所述分布式文件系统中存储数据时所切分的磁盘块大小预先确定。

进一步地，在所述目标文件为多个时，将多个所述目标文件进行合并，包括：

根据所述目标文件的文件大小进行分组，使得每组中包括的多个目标文件的文件大小之和大于或等于所述第一预设阈值，且小于或等于第二预设阈值；

将每组中的所述目标文件进行合并。

进一步地，将每组中的所述目标文件进行合并，包括：

调用所述分布式文件系统中的文件合并接口，将每组中的所述目标文件进行合并。

进一步地，根据所述目标文件的文件大小进行分组，使得每组中包括的多个目标文件的文件大小之和大于或等于所述第一预设阈值，且小于或等于第二预设阈值，包括：

将所述目标文件按照所述文件大小进行排序；