[发明专利]数据查询方法以及系统

说明书

本公开是关于一种数据查询方法以及系统，属于数据库技术领域。数据查询系统包括数据处理引擎、查询引擎和存储引擎，查询引擎中包括缓存；数据处理引擎用于接收异构数据源的数据，并基于预先构建的数据字典对接收到的数据进行过滤；数据处理引擎还用于对过滤后的数据进行多个维度的聚合运算处理，并将得到的数据处理结果存储至缓存或存储引擎；查询引擎用于当接收到终端的数据查询请求时，判断数据查询请求是否命中缓存，若数据查询请求命中缓存，则从缓存中获取与数据查询请求匹配的查询结果并返回给终端，若数据查询请求未命中缓存，则从存储引擎中获取查询结果并返回给终端。本公开实现了在多源异构海量数据的复杂业务场景下的快速数据查询。

技术领域

本公开涉及数据库技术领域，特别涉及一种数据查询方法以及系统。

背景技术

信息时代的到来使得数据呈爆炸式增长，比如出现了TB(太字节)级甚至PB(拍字节)级大数据的查询诉求，这已远远超出了传统计算技术和信息系统的查询能力，造成了在面对海量数据查询时，数据查询系统难以在用户可接受的时间内返回匹配的查询结果，即数据查询系统难以满足用户对查询响应时间的要求。基于此，在海量数据环境下，如何实现数据查询，以减少查询响应时间，提升查询性能，成为了本领域技术人员目前亟待解决的一个问题。

发明内容

本公开提供了一种数据查询方法以及系统，能够克服相关技术中存在的查询响应时间长的问题。

根据本公开实施例的第一方面，提供一种数据查询系统，所述数据查询系统包括数据处理引擎、查询引擎和存储引擎，所述查询引擎中包括缓存；

所述数据处理引擎用于接收异构数据源的数据，并基于预先构建的数据字典对接收到的数据进行过滤；

所述数据处理引擎还用于对过滤后的数据进行多个维度的聚合运算处理，并将得到的数据处理结果存储至所述缓存或所述存储引擎；

所述查询引擎用于当接收到终端的数据查询请求时，判断所述数据查询请求是否命中所述缓存，若所述数据查询请求命中所述缓存，则从所述缓存中获取与所述数据查询请求匹配的查询结果并返回给所述终端，若所述数据查询请求未命中所述缓存，则从所述存储引擎中获取所述查询结果并返回给所述终端。

在一种可能的实现方式中，所述数据处理引擎还用于当所述数据处理结果为指标趋势展示数据时，将所述数据处理结果存储至所述查询引擎的缓存；

所述数据处理引擎还用于当所述数据处理结果为热点访问数据时，将所述数据处理结果存储至所述查询引擎的缓存；

所述数据处理引擎还用于当所述数据处理结果为除了所述指标趋势展示数据和所述热点访问数据之外的其他数据时，将所述数据处理结果存储至所述存储引擎。

在一种可能的实现方式中，所述查询引擎还用于将存储在所述存储引擎中的数据处理结果预加载至所述缓存。

在一种可能的实现方式中，所述数据查询系统还包括公共服务引擎；

所述公共服务引擎用于对所述查询引擎接收到的数据查询请求进行分析处理，当确定对目标数据的访问量大于第一阈值，且所述查询引擎返回所述目标数据的响应时间大于第二阈值时，将所述目标数据确定为热点访问数据，并将所述目标数据由所述存储引擎加载至所述查询引擎的缓存。

在一种可能的实现方式中，所述公共服务引擎还用于当所述数据处理引擎或所述查询引擎出现异常时，执行报警操作。

在一种可能的实现方式中，所述数据处理引擎还用于在进行聚合运算得到所述数据处理结果后，确定与不同数目维度匹配的数据处理结果，并建立不同数目维度与相应的数据处理结果之间的映射关系。

在一种可能的实现方式中，所述查询引擎还用于在所述数据查询请求未命中所述缓存时，将所述数据查询请求转换为所述存储引擎识别的查询语句；