[发明专利]一种小文件合并方法及电子设备

权利要求书

1.一种小文件合并方法，其特征在于，包括：

对分布式文件系统HDFS中的文件进行检索，获得多个小文件；

从所述多个小文件中确定待合并的至少两个小文件；

基于Spark的文件合并工具按照合并策略将所述待合并的至少两个小文件进行合并，其中，所述合并策略用于指示合并后的小文件的大小。

2.如权利要求1所述的方法，其特征在于，对分布式文件系统HDFS中的文件进行检索，获得多个小文件，包括：

根据输入的文件目录及小文件阈值在所述HDFS中进行检索，获得所述多个小文件，其中，所述小文件的大小小于或等于所述小文件阈值；

或者，

根据输入的Hive表名称在所述HDFS中进行检索，获得所述多个小文件，其中，Hive表用于指示文件系统的元数据存储目录，所述Hive表用于指示HDFS中相同类型的文件。

3.如权利要求2所述的方法，其特征在于，对分布式文件系统HDFS中的文件进行检索之后，还包括：

判断检索后获得的全部小文件是否为同一类型的文件；

输出为同一类型的多个小文件。

4.如权利要求1所述的方法，其特征在于，在对分布式文件系统HDFS中的文件进行检索之后，还包括：输出检索后获得的全部小文件或者部分小文件的属性信息，其中，所述属性信息包括小文件的大小、类型、存储格式和内存利用率中的至少一种；

从所述多个小文件中确定待合并的至少两个小文件，包括：

接收用户基于所述属性信息针对所述多个小文件中进行的选择操作；

根据所述选择操作从所述多个小文件中确定待合并的至少两个小文件。

5.如权利要求1-4任一所述的方法，其特征在于，基于Spark的文件合并工具按照合并策略将所述待合并的至少两个小文件进行合并，包括：

根据所述合并策略对至少两个小文件进行分组，获得至少两个组，其中，所述至少两个组中的任意两个组的内存之间的差值小于或等于第一预设阈值；

基于Spark的文件合并工具以组为单位对所述至少两个小文件进行合并，每个组对应合并的一个新文件；

调用输出接口，输出所述至少两个组对应合并形成的至少两个新文件。

6.一种电子设备，用于合并小文件，其特征在于，包括：

检索单元，用于对分布式文件系统HDFS中的文件进行检索，获得多个小文件；

确定单元，用于从所述多个小文件中确定待合并的至少两个小文件；

合并单元，用于基于Spark的文件合并工具按照合并策略将所述待合并的至少两个小文件进行合并，其中，所述合并策略用于指示合并后的小文件的大小。

7.如权利要求6所述的电子设备，其特征在于，所述检索单元具体用于：

根据输入的文件目录及小文件阈值在所述HDFS中进行检索，获得所述多个小文件，其中，所述小文件的大小小于或等于所述小文件阈值；

或者，

根据输入的Hive表名称在所述HDFS中进行检索，获得所述多个小文件，其中，Hive表用于指示文件系统的元数据存储目录，所述Hive表用于指示HDFS中相同类型的文件。

8.如权利要求2所述的电子设备，其特征在于，还包括判断单元，用于：

判断检索后获得的全部小文件是否为同一类型的文件；

输出为同一类型的多个小文件。

9.一种电子设备，其特征在于，包括：

至少一个处理器，以及

与所述至少一个处理器连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-5任一项所述的方法。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的方法。