[发明专利]一种数据读取方法及装置

说明书

本发明公开了一种数据读取方法及装置，涉及计算机技术领域，主要目的在于提高数据的读取速度，减少主线程的内存消耗，本发明的主要技术方案为：获取需要加载的文件列表，所述文件列表中记录有需要加载的文件在元数据中对应的路径信息；根据所述路径信息从所述元数据中加载所述文件列表中对应的文件内容；对所述文件内容进行数据处理，得到与所述元数据中相同数据结构的文件内容，生成数据读取结果。本发明主要用于数据的读取。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据读取方法及装置。

背景技术

随着信息全球化的大数据时代的到来，来自多媒体、互联网的海量数据开始向各个行业蔓延，传统的数据库技术在处理海量数据，尤其是非结构内容数据时存在瓶颈，对这些大数据的处理和分析已经成为一个重要且紧迫的需求。

大数据处理平台经历了最初的Hadoop和Hbase，以及后来发展起来的基于SQL的Hive、Spark等，而目前应用较广的是Spark SQL，Spark SQL是Spark的一个组件，作为Apache Spark大数据框架的一部分，主要用于结构化数据的处理以及对Spark数据执行类SQL的查询，通过Spark SQL，可以针对不同格式的数据执行ETL操作(如JSON，Parquet，数据库)，然后完成特定的查询操作。

然而，在通过上述的Spark SQL中运行的SQL读取数据时，需要将整张数据表中所有的元数据读取至分布式系统的主线程，整个数据读取过程速度非常慢，而且对主线程的内存消耗很大。

发明内容

有鉴于此，本发明提供一种数据读取方法及装置，主要目的在于提高数据的读取速度，减少主线程的内存消耗。

为了解决上述问题，本发明主要提供如下技术方案：

一方面，本发明实施例提供了一种数据读取方法，包括：

获取需要加载的文件列表，所述文件列表中记录有需要加载的文件在元数据中对应的路径信息；

根据所述路径信息从所述元数据中加载所述文件列表中对应的文件内容；

对所述文件内容进行数据处理，得到与所述元数据中相同数据结构的文件内容，生成数据读取结果。

进一步地，所述获取需要加载的文件列表包括：

启动hive服务器的读取任务；

根据所述读取任务读取需要加载的文件在元数据中对应的路径信息，生成文件列表。

进一步地，所述根据所述读取任务读取需要加载的文件在元数据中对应的路径信息，生成文件列表包括：

根据用户传入的预设查询语句获取需要加载的文件；

通过执行所述读取任务的虚拟字段,获取需要加载的文件在元数据中对应的路径信息；

将所述路径信息以表格的形式存储至hive服务器,生成所述文件列表。

进一步地，所述根据所述路径信息从所述元数据中加载所述文件列表中对应的文件内容包括：

通过Spark SQL解析所述路径信息,从所述元数据中加载所述文件列表中对应的文件内容。

进一步地，所述对所述文件内容进行数据处理，得到与所述元数据中相同数据结构的文件内容，生成数据读取结果包括：

通过Spark SQL解析所述预设查询语句,得到过滤条件；

根据所述过滤条件对所述文件内容进行过滤,得到与所述元数据中相同数据结构的文件内容，生成数据读取结果。