[发明专利]Hive文件处理方法及装置、计算机设备与存储介质

权利要求书

1.一种Hive文件处理方法，其特征在于，包括：

获取目标分区，所述目标分区包括文件数量大于第一设定值且存在文件大小未达到第二设定值的待合并文件的分区；

对所述目标分区的待合并文件进行合并处理，并对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作。

2.根据权利要求1所述的Hive文件处理方法，其特征在于，还包括：

合并处理完成后，解除对所述目标分区添加的所述合并锁。

3.根据权利要求1所述的Hive文件处理方法，其特征在于，所述对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作，包括：

响应于所述目标分区处于未被Hive读写的状态，对所述目标分区添加合并锁以禁止对所述目标分区进行读取操作。

4.根据权利要求1所述的Hive文件处理方法，其特征在于，所述对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作，包括：

响应于所述目标分区处于被Hive读写的状态，则等待读写操作完成后，对所述目标分区添加合并锁以禁止所述目标分区的读取操作。

5.根据权利要求1至4任一项所述的Hive文件处理方法，其特征在于，所述对所述目标分区的待合并文件进行合并处理，包括：

对进行合并处理中的目标分区添加合并锁之前，按照设定数据大小对目标分区中的待合并文件进行切割；

将切割后的文件输出到预设目录下。

6.根据权利要求5所述的Hive文件处理方法，其特征在于，所述对所述目标分区的待合并文件进行合并处理，还包括：

对进行合并处理中的目标分区添加合并锁之后，删除所述目标分区中的待合并文件；

将预设目录下的文件移到所述目标分区，完成文件合并处理。

7.根据权利要求6所述的Hive文件处理方法，其特征在于，所述获取目标分区之前，还包括：

基于设定时间或定期扫描Hive元数据的数据库，以获取Hive各分区的HDFS文件夹路径；

根据各个分区的HDFS文件夹路径，查找Namenode中的文件夹信息，所述文件夹信息至少包括各个文件夹包含的文件数量；

根据所述文件夹信息从各个分区中筛选出文件数量达到第一设定值的候选分区；

基于各候选分区中的文件大小，从候选分区中筛选出存在文件大小未达到第二设定值的待合并文件的目标分区。

8.一种Hive文件处理装置，其特征在于，包括：

分区获取模块，用于获取目标分区，所述目标分区包括文件数量大于第一设定值且存在文件大小未达到第二设定值的待合并文件的分区；

文件处理模块，用于对所述目标分区的待合并文件进行合并处理，并对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的方法。