[发明专利]一种文本文件数据入库方法、系统及电子设备和存储介质

说明书

本申请公开了一种文本文件数据入库方法、系统及设备和介质，方法包括：判断是否满足预设入库条件；如果是，则将当前时刻下待入库目录中的文本文件数据上传至集群中预设的中转目录中；根据入库任务配置将文本文件数据从中转目录写入至集群中以parquet格式存储的数据表中。本申请预先将文本文件数据存入待入库目录，在满足预设入库条件后，将当前时刻下待入库目录中的文本文件数据通过集群中预设的中转目录写入集群中的数据表中，实现将txt格式的文本文件数据转换为parquet格式的数据，能够节省存储空间，提高后续数据分析效率，并且本申请避免了改写时造成的改写成本，解决了利用spark直接读取数据时资源消耗较大的问题。

技术领域

本申请涉及计算机技术领域，更具体地说，涉及一种文本文件数据入库方法、系统及一种电子设备和一种计算机可读存储介质。

背景技术

随着互联网的发展，尤其是近年来大数据技术越来越流行，企业都在往数字化方向转型，每个企业或大或小的建立了自己的数据平台，Hadoop(分布式系统基础架构)成为各个公司进行大数据分析的标准架构，但是Hadoop分析效率低下，运行速度慢，不能满足即时查询的分析需求。基于此，impala on Hadoop(基于分布式系统基础架构的新型查询系统)应运而生，该系统中文件存储采用parquet格式。

在相关技术中，利用开源的flume(日志收集系统)进行数据的前期采集，但是flume不支持写入parquet格式，若将flume写入的数据转换为impala支持的parquet格式的数据，一种常见的方案是通过改写flume agent来增加支持parquet格式的功能，这种方案改写成本高，还需自己编写拦截器，如果存在大量的历史数据，会导致大量文件句柄打开，可能造成服务器宕机；另一种常见的方案是基于spark(计算引擎)直接读取kafka(分布式消息系统)，而这种方案对资源消耗较大，1G的数据通常需要消耗5G的内存。

发明内容

本申请的目的在于提供一种文本文件数据入库方法、系统及一种电子设备和一种计算机可读存储介质，能够节省存储空间，提高后续数据分析效率，避免了改写成本，解决了利用spark直接读取数据时资源消耗较大的问题。

为实现上述目的，本申请提供了一种文本文件数据入库方法，包括：

判断是否满足预设入库条件；

如果是，则将当前时刻下待入库目录中的文本文件数据上传至集群中预设的中转目录中；

根据入库任务配置将所述文本文件数据从所述中转目录写入至所述集群中以parquet格式存储的数据表中。

可选的，所述判断是否满足预设入库条件，包括：

判断当前时刻下所述待入库目录中的文本文件数据总量是否满足预设大小；

如果是，则判定为满足所述预设入库条件；

如果否，则判断预设时间段内是否有新的文本文件数据写入所述待入库目录中；

如果否，则判定为满足所述预设入库条件。

可选的，所述将当前时刻下待入库目录中的文本文件数据上传至集群中预设的中转目录中之前，还包括：

对所述中转目录中已存的文本文件数据进行清空操作。

可选的，所述根据入库任务配置将所述文本文件数据从所述中转目录写入至所述集群中以parquet格式存储的数据表中，包括：

获取入库任务配置文件列表；

根据所述入库任务配置文件列表中的每个配置文件生成入库进程；

利用所述入库进程将所述文本文件数据从所述中转目录导入至所述集群中以parquet格式存储的数据表中。