[发明专利]OGG到HDFS的同步文件处理方法、装置和计算机设备

权利要求书

1.一种OGG到HDFS的同步文件处理方法，其特征在于，所述方法包括：

基于OGG软件对通过OGG软件到HDFS的同步文件的滚动切换时间和文件大小进行限制；

基于配置完成的OGG软件，以业务系统产生的增量数据作为同步文件，将所述同步文件准实时同步至HDFS；

基于HDFS对通过OGG软件获取的同步文件进行遍历，筛选出所述同步文件中的小文件，并对所述小文件进行合并处理。

2.根据权利要求1所述的方法，其特征在于，所述基于OGG软件对通过OGG软件到HDFS的同步文件的滚动切换时间和文件大小进行限制包括：

基于OGG软件，对通过OGG软件到HDFS的同步文件的滚动切换时间限制为第一预设时长；

对通过OGG软件到HDFS的同步文件的文件大小限制为第一预设阈值。

3.根据权利要求2所述的方法，其特征在于，所述基于配置完成的OGG软件，以业务系统产生的增量数据作为同步文件，将所述同步文件准实时同步至HDFS包括：

获取OGG软件所处的业务系统产生的增量数据，将所述增量数据作为同步文件；

基于配置完成的OGG软件，判断所述同步数据的滚动切换时间是否达到所述第一预设时长；

若所述同步数据的滚动切换时间达到了所述第一预设时长，将所述同步文件同步至HDFS。

4.根据权利要求3所述的方法，其特征在于，所述基于配置完成的OGG软件，以业务系统产生的增量数据作为同步文件，将所述同步文件准实时同步至HDFS还包括：

基于配置完成的OGG软件，判断所述同步数据的文件大小是否达到所述第一预设阈值；

若所述同步数据的文件大小达到所述第一预设阈值，将所述同步文件同步至HDFS。

5.根据权利要求1所述的方法，其特征在于，所述基于HDFS对通过OGG软件获取的同步文件进行遍历，筛选出所述同步文件中的小文件，并对所述小文件进行合并处理包括：

基于HDFS对所述同步文件的目录进行遍历，筛选出所述同步文件中的小文件；

在所述同步文件的各子目录中，判断各子目录中的小文件是否符合预设的小文件合并条件；

若同一子目录中的小文件符合合并条件，对同一子目录中的小文件进行合并处理，在同一子目录生成不少于一个合并后的文件；

对合并处理后的小文件进行删除。

6.根据权利要求5所述的方法，其特征在于，所述基于HDFS对所述同步文件的目录进行遍历，筛选出所述同步文件中的小文件包括：

基于HDFS对所述同步文件的目录进行遍历，判断所述同步文件中的各文件的大小是否超过预设的第二预设阈值；

将所述同步文件中的文件大小超过预设的第二预设阈值的文件作为小文件。

7.根据权利要求5所述的方法，其特征在于，所述在所述同步文件的各子目录中，判断各子目录中的小文件是否符合预设的小文件合并条件包括：

在所述同步文件的各子目录中，判断各子目录中的小文件的数量占当前子目录文件总数量的比值是否达到预设的第一比例阈值；

若当前子目录中的小文件的数量占当前子目录文件总数量的比值达到预设的第一比例阈值，当前子目录的小文件符合小文件合并条件。

8.一种OGG到HDFS的同步文件处理装置，其特征在于，所述装置包括：

配置模块，用于基于OGG软件对通过OGG软件到HDFS的同步文件的滚动切换时间和文件大小进行限制；

同步模块，用于基于配置完成的OGG软件，以业务系统产生的增量数据作为同步文件，将所述同步文件准实时同步至HDFS；

合并模块，用于基于HDFS对通过OGG软件获取的同步文件进行遍历，筛选出所述同步文件中的小文件，并对所述小文件进行合并处理。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。