[发明专利]一种大数据查询的方法及系统

说明书

技术领域

本发明涉及信息检索技术领域，更具体的说，涉及一种大数据查询的方法及系统。

背景技术

随着互联网的发展，各业务系统中的数据量日趋庞大，特别是电信和互联网行业更是如此。面对这些大数据进行查询的需求，查询的性能和效率是首当其冲。

在服务器硬件及数据库配置等条件固定的情况下，若采用传统的查询方式，其查询效率随着数据量不断增大，会不断的降低，用户查询的响应时间会越来越慢，甚至会出现由于查询导致数据库无法使用的情况。尽管可考虑引入搜索引擎来实现海量数据的查询操作，但由于搜索引擎不能有效的理解业务数据，要实现针对特定行业的业务数据的快速分析查询，引入搜索引擎难度较大、工作量和实现复杂度太高。

发明内容

本发明要解决的主要技术问题是，提供一种大数据查询的方法及系统，能够高效、快速地输出查询结果。

为解决上述技术问题，本发明采用了如下技术方案：

一种大数据的查询方法，包括：

配置业务查询规则以及所述业务查询规则与查询条件的对应关系；

根据对客户端的查询请求的分析结果，由所述查询请求中的查询条件提取相应的业务查询规则，根据提取出的业务查询规则构造查询方案；

根据所述查询方案查询数据，将查询结果返回给客户端。

在本发明所述方法的一种实施例中，所述配置业务查询规则为配置不同业务属性的对应查询粒度。

在本发明所述方法的一种实施例中，还包括：存储查询历史，所述查询历史中记录有历史查询条件以及所述历史查询条件对应的历史查询结果和历史查询方案中的至少一者，如果客户端的查询请求中的查询条件与历史查询条件相同，则根据查询历史直接向客户端返回对应的历史查询结果，或者根据查询历史中对应的历史查询方案查询数据，将查询结果返回给客户端。

在本发明所述方法的一种实施例中，还包括：对不同的数据源类型进行适配。

在本发明所述方法的一种实施例中，还包括：设置预查询阈值及查询标记；当本次查询出的数据量达到所述预查询阈值，将本次查询出的数据作为本次查询结果返回给客户端，并通过查询标记对本次查询结果进行标记；并在下一次按同样查询方案进行查询时根据查询标记继续查询。

本发明还提供了一种大数据的查询系统，包括：

查询配置单元，用于配置业务查询规则以及所述业务查询规则与查询条件的对应关系；

查询方案构造单元，用于根据对客户端的查询请求的分析结果，由所述查询请求中的查询条件提取相应的业务查询规则，根据提取出的业务查询规则构造查询方案；

查询单元，用于根据所述查询方案查询数据，将查询结果返回给客户端。

在本发明所述系统的一种实施例中，所述配置业务查询规则为配置不同业务属性的对应查询粒度。

在本发明所述系统的一种实施例中，还包括查询存储单元，用于存储查询历史，所述查询历史中记录有历史查询条件以及所述历史查询条件对应的历史查询结果和历史查询方案中的至少一者，所述查询单元在客户端的查询请求中的查询条件与历史查询条件相同时，根据查询历史直接向客户端返回对应的历史查询结果，或者根据查询历史中对应的历史查询方案查询数据，将查询结果返回给客户端。

在本发明所述系统的一种实施例中，还包括数据源适配单元，用于对不同的数据源类型进行适配。

在本发明所述系统的一种实施例中，还包括预查询设置单元，用于设置预查询阈值及查询标记；所述查询单元在本次查询出的数据量达到所述预查询阈值时，将本次查询出的数据作为本次查询结果返回给客户端；所述预查询设置单元通过查询标记对本次查询结果进行标记；所述查询单元在下一次按同样查询方案进行查询时根据查询标记继续查询。

本发明通过配置查询规则及其与查询条件的对应关系，从而能够根据查询条件提取相应的查询规则，构造出优化的查询方案。这样得到的查询方案，适应于不同的查询条件，保证了查询的效率。

附图说明

图1是本发明实施例的大数据查询系统架构示意图；

图2是本发明实施例的大数据查询适配任意数据源系统架构示意图；

图3是本发明实施例的大数据查询系统的工作流程图；

图4是本发明实施例的大数据查询的业务分析流程图；

图5是本发明实施例的大数据查询处理流程图；

图6是本发明实施例的数据源适配模块处理关系图；

图7是本发明实施例的大数据查询适配任意数据源系统文件数据源处理流程图。

具体实施方式