[发明专利]大数据获取方法、装置、设备及存储介质

说明书

本发明属于大数据技术领域，特别涉及一种大数据获取方法、装置、设备及存储介质。大数据获取方法包括获取数据采集集群采集的底层数据；根据所述底层数据的业务属性匹配用户信息数据库中所属用户，并将所述底层数据分类储存在对应的存储模块中；获取用户访问请求，解析所述用户访问请求获取解析数据并向所述用户信息数据库发送所述解析数据和用户验证请求，当所述解析数据通过验证时，提取对应存储模块中的数据并进行显示。本发明技术方案能够快速将底层数据按不同使用类型分别存储在对应存储模块中，并对外提供统一访问接口进行数据传输。

技术领域

本发明涉及大数据技术领域，尤其涉及一种大数据获取方法、装置、设备及存储介质。

背景技术

现有大数据输出给关联系统使用主要是通过Sqoop导出到关系型数据库，供外部系统使用。Sqoop作为Hadoop与传统数据库之间的桥梁，对于数据的导入导出有着重要作用。Sqoop是SQL-to-Hadoop的缩写，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop每一次应用都需要将数据导出指定系统，当数据量大以及操作次数多时，会增加操作人员的工作量和影响操作准确率。因此，现有技术中大数据获取方法不具备高效率传输和准确传输的功能，使得工作效率和准确率不高。

发明内容

本发明的目的在于提供一种大数据获取方法、装置、设备及存储介质，能够实现将数据存储按不同使用类型分别存储在对应存储模块中，对外提供统一访问接口进行数据传输，提高数据获取的传输速率和传输数据准确性。

本发明是这样实现的，本发明第一方面提供一种大数据获取方法，包括：

通过数据采集集群采集底层数据；

根据所述底层数据的业务属性匹配用户信息数据库中所属用户，并将所述底层数据分类储存在对应的存储模块中；

获取用户访问请求，解析所述用户访问请求获取解析数据并向所述用户信息数据库发送所述解析数据和用户验证请求，当所述解析数据通过验证时，提取对应存储模块中的数据并进行显示。

本发明第二方面提供一种大数据获取装置，所述大数据获取装置包括：

数据采集模块，用于通过数据采集集群采集的底层数据；

数据匹配存储模块，用于根据所述底层数据的业务属性匹配用户信息数据库中所属用户，并将所述底层数据分类储存在对应的存储模块中；

数据提取模块，用于获取用户访问请求，解析所述用户访问请求并向所述用户信息数据库发送用户验证请求，当验证通过时获取用户令牌并根据所述用户令牌提取对应存储模块中数据并进行显示。

本发明第三方面提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明第一方面所述方法的步骤。

本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面所述方法的步骤。

本发明提供一种大数据获取方法、装置、设备及存储介质，通过数据采集集群采集获取底层数据，根据底层数据的业务属性匹配用户信息数据库中的所属用户，并按数据的使用类型分别储存在对应的存储模块中，当获取到用户访问请求时，解析用户访问请求获得解析数据并向用户信息数据库发送解析数据和用户验证请求，当解析数据验证通过时提取用户身份属性文件中对应的存储模块中的数据并进行显示，实现了将数据按使用类型的不同分别存储在对应的存储模块中，定义底层数据信息，保存用户与底层数据属主关系，对外提供统一访问接口，外部系统通过用户信息数据库验证提取对应底层数据并返回显示，减少操作人员的工作量，提高了数据传输速率和准确性。