[发明专利]数据查询方法、装置以及电子设备

说明书

本申请提供了一种数据查询方法、装置以及电子设备，涉及数据处理技术领域，解决了数据查询的响应速度较慢的技术问题。该方法包括：加载来自多种数据源的原始数据，对所述原始数据进行ETL处理，并生成事实表、维度表和事实明细表；基于Kubernetes集群对所述事实表和所述维度表进行聚合计算，生成结果表，并基于所述事实明细表将所述结果表保存至关系型数据库；基于关系型数据库和热点数据键值缓存，对所述结果表进行查询，并返回查询结果。

技术领域

本申请涉及数据处理技术领域，尤其是涉及一种数据查询方法、装置以及电子设备。

背景技术

随着信息化的不断发展，数据生成速度也在提高，使数据量规模增大。需要处理的数据量急速增长，导致数据处理的时间增长，影响数据处理的效率。目前，在面对海量数据时，可以先从海量数据中进行数据查询，然后再进行数据处理，以提高数据处理的效率。

但是，随着互联网的快速发展，各行业的用户流量数据量也快速的增长，数据的来源和格式也趋于多样化发展，因此会影响数据查询的过程，使目前的数据查询方法的查询响应速度较慢。

发明内容

本发明的目的在于提供一种数据查询方法、装置以及电子设备，以解决数据查询的响应速度较慢的技术问题。

第一方面，本申请实施例提供了一种数据查询方法，包括：

加载来自多种数据源的原始数据，对所述原始数据进行抽取-转换-加载(Extract-Transform-Load，简称ETL)处理，并生成事实表、维度表和事实明细表；

基于Kubernetes集群对所述事实表和所述维度表进行聚合计算，生成结果表，并基于所述事实明细表将所述结果表保存至关系型数据库；

基于关系型数据库和热点数据键值缓存，对所述结果表进行查询，并返回查询结果。

在一个可能的实现中，加载来自多种数据源的原始数据，对所述原始数据进行ETL处理，并生成事实表、维度表和事实明细表的步骤，包括：

加载来自多种数据源的原始数据，并将所述原始数据保存至蜂巢数据仓库；

对所述原始数据进行ETL处理和格式化处理，获得整理后数据；

基于所述整理后数据提取事实表、维度表和事实明细表，进行维度建模，并以星型模型组织数据，保存至所述蜂巢数据仓库。

在一个可能的实现中，所述格式化处理包括：字段统一、异常点检测、空值处理中的至少一种。

在一个可能的实现中，基于Kubernetes集群对所述事实表和所述维度表进行聚合计算，生成结果表，并基于所述事实明细表将所述结果表保存至关系型数据库的步骤，包括：

基于Kubernetes集群，根据所述事实明细表中事实表的数量和规模，动态生成Spark任务的参数值；

执行所述Spark任务，对所述事实表和所述维度表进行聚合计算，生成结果表；

通过Spark应用程序接口(Application Programming Interface，简称API)将所述结果表传输到关系型数据库。

在一个可能的实现中，基于关系型数据库和热点数据键值缓存，对所述结果表进行查询，并返回查询结果的步骤，包括：

接收来自前端页面的查询条件，并将所述查询条件排序，取哈希值作为查询键值；

利用所述查询键值在所述热点数据键值缓存中查询；

如果检索到，则生成检索结果；

如果未检索到，则将所述查询键值转换成结构化查询语言语句，基于所述结构化查询语言语句在所述关系型数据库中进行查询，生成检索结果；