[发明专利]一种数据读取方法及装置

权利要求书

1.一种数据读取方法，其特征在于，包括：

获取需要加载的文件列表，所述文件列表中记录有需要加载的文件在元数据中对应的路径信息；

根据所述路径信息从所述元数据中加载所述文件列表中对应的文件内容；

对所述文件内容进行数据处理，得到与所述元数据中相同数据结构的文件内容，生成数据读取结果，具体为，通过Spark SQL解析预设查询语句,得到过滤条件；根据所述过滤条件对所述文件内容进行过滤,得到与所述元数据中相同数据结构的文件内容，生成数据读取结果。

2.根据权利要求1所述的方法，其特征在于，所述获取需要加载的文件列表包括：

启动hive服务器的读取任务；

根据所述读取任务读取需要加载的文件在元数据中对应的路径信息，生成文件列表。

3.根据权利要求2所述的方法，其特征在于，所述根据所述读取任务读取需要加载的文件在元数据中对应的路径信息，生成文件列表包括：

根据用户传入的预设查询语句获取需要加载的文件；

通过执行所述读取任务的虚拟字段,获取需要加载的文件在元数据中对应的路径信息；

将所述路径信息以表格的形式存储至hive服务器,生成所述文件列表。

4.根据权利要求3所述的方法，其特征在于，所述根据所述路径信息从所述元数据中加载所述文件列表中对应的文件内容包括：

通过Spark SQL解析所述路径信息,从所述元数据中加载所述文件列表中对应的文件内容。

5.一种数据读取装置，其特征在于，包括：

获取单元,用于获取需要加载的文件列表，所述文件列表中记录有需要加载的文件在元数据中对应的路径信息；

加载单元,用于根据所述路径信息从所述元数据中加载所述文件列表中对应的文件内容；

处理单元,用于对所述文件内容进行数据处理，得到与所述元数据中相同数据结构的文件内容，生成数据读取结果；

所述处理单元包括：

解析模块,用于通过Spark SQL解析预设查询语句,得到过滤条件；

过滤模块,用于根据所述过滤条件对所述文件内容进行过滤,得到与所述元数据中相同数据结构的文件内容，生成数据读取结果。

6.根据权利要求5所述的装置，其特征在于，所述获取单元包括：

启动模块,用于启动hive服务器的读取任务；

读取模块,用于根据所述读取任务读取需要加载的文件在元数据中对应的路径信息，生成文件列表。

7.根据权利要求6所述的装置，其特征在于，

所述读取模块，具体用于根据用户传入的预设查询语句获取需要加载的文件；

所述读取模块,具体还用于通过执行所述读取任务的虚拟字段,获取需要加载的文件在元数据中对应的路径信息；

所述读取模块,具体还用于将所述路径信息以表格的形式存储至hive服务器,生成所述文件列表。

8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求4中任意一项所述的数据读取方法。

9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求4中任意一项所述的数据读取方法。