[发明专利]一种文本文件数据入库方法、系统及电子设备和存储介质

权利要求书

1.一种文本文件数据入库方法，其特征在于，包括：

判断是否满足预设入库条件；

如果是，则将当前时刻下待入库目录中的文本文件数据上传至集群中预设的中转目录中；

根据入库任务配置将所述文本文件数据从所述中转目录写入至所述集群中以parquet格式存储的数据表中。

2.根据权利要求1所述的文本文件数据入库方法，其特征在于，所述判断是否满足预设入库条件，包括：

判断当前时刻下所述待入库目录中的文本文件数据总量是否满足预设大小；

如果是，则判定为满足所述预设入库条件；

如果否，则判断预设时间段内是否有新的文本文件数据写入所述待入库目录中；

如果否，则判定为满足所述预设入库条件。

3.根据权利要求1所述的文本文件数据入库方法，其特征在于，所述将当前时刻下待入库目录中的文本文件数据上传至集群中预设的中转目录中之前，还包括：

对所述中转目录中已存的文本文件数据进行清空操作。

4.根据权利要求1所述的文本文件数据入库方法，其特征在于，所述根据入库任务配置将所述文本文件数据从所述中转目录写入至所述集群中以parquet格式存储的数据表中，包括：

获取入库任务配置文件列表；

根据所述入库任务配置文件列表中的每个配置文件生成入库进程；

利用所述入库进程将所述文本文件数据从所述中转目录导入至所述集群中以parquet格式存储的数据表中。

5.根据权利要求4所述的文本文件数据入库方法，其特征在于，所述利用所述入库进程将所述文本文件数据从所述中转目录导入至所述集群中以parquet格式存储的数据表中，包括：

所述入库进程根据对应的配置文件生成入库语句，以便基于所述入库语句将所述中转目录中的所述文本文件数据导入至所述集群中以parquet格式存储的数据表中。

6.根据权利要求4所述的文本文件数据入库方法，其特征在于，还包括：

监测所述入库任务配置文件列表是否发生更新；

如果是，则生成新增入库进程或对已有的所述入库进程进行更新。

7.根据权利要求1所述的文本文件数据入库方法，其特征在于，所述根据入库任务配置将所述文本文件数据从所述中转目录写入至所述集群中以parquet格式存储的数据表中的过程中，还包括：

对所述文本文件数据进行数据清洗操作。

8.根据权利要求1至7任一项所述的文本文件数据入库方法，其特征在于，所述判断是否满足预设入库条件之前，还包括：

利用预先部署的rsync服务接收需要入库的文本文件数据，并将所述文本文件数据保存至预先创建的接收目录中；

将所述接收目录下的所述文本文件数据移动至所述待入库目录中。

9.根据权利要求8所述的文本文件数据入库方法，其特征在于，所述利用预先部署的rsync服务接收需要入库的文本文件数据，包括：

利用预先部署的所述rsync服务获取文件发送请求；

基于rsync密钥文件，利用所述rsync服务判断所述文件发送请求的发起方是否有发送权限；

如果是，则利用所述rsync服务接收所述文件发送请求对应的文本文件数据。

10.根据权利要求8所述的文本文件数据入库方法，其特征在于，所述判断是否满足预设入库条件之后，还包括：

若不满足所述预设入库条件，则继续将所述接收目录下的所述文本文件数据移动至所述待入库目录中。