[发明专利]一种基于二次检索的数据查询方法及系统

说明书

本发明公开了一种基于二次检索的数据查询方法及系统，本发明为：1)创建一索引模板，当一用户登录客户端进行第一次检索时，为该用户的本次登录生成一批次号，并该批次号和该第一次检索结果保存到中间库服务器中；2)索引服务器根据该索引模板从该第一次检索结果中提取所有可作为查询条件的数据项及拆分规则，创建该批次号的索引；3)当该用户进行二次检索时，从该批次号的索引中读取所有包含该用户所输入二次查询条件的索引数据，然后根据该索引数据从所述中间库服务器中获取检索结果。本发明可以动态重构二次检索查询条件，并通过中间库缓存一次查询结果，这样减少了二次查询时的总数据量，大大的提高了二次检索数据的效率。

技术领域

本发明涉及互联网搜索领域，尤其涉及一种基于搜索中二次检索的数据查询方法及系统。

技术背景

随着Internet的快速增长，人们对海量数据的挖掘和运用，预示着新一波生产力和消费者盈余浪潮的到来，大数据开始引起人们的关注，其数据量远远超越现在企业IT架构和基础设施的承载能力，实时性要求也将大大超越现在的计算能力，如何从大数据中检索出有价值的数据，为国家治理、企业决策乃至个人生活服务提供帮助成为人们的议题。

人们越来越多的依赖于搜索引擎来获取有价值的数据，通过关键字搜索，可以返回大量的结果数据，但是其中大部分数据不是用户需求的范围内，为了检索更为贴切用户需求的数据，需要二次检索，就是在一次检索结果的基础上，通过特定的条件进行筛选，缩小范围，获取更为满足用户需求的结果信息。在传统的搜索中，我们会面临2个问题，一是，数据总量过大，搜索速度慢，且频繁搜索影响服务器性能，二是查询条件比较固定，无法灵活配置。

发明内容

本发明解决的技术问题：本发明的目的是提供一种基于二次检索的数据查询方法，一种可以动态加载二次检索条件，实现二次检索条件灵活性。采用的方式：在第一次搜索数据，在返回结果数据的同时，我们通过solr创建索引，并将返回的数据以BSON的格式临时存放到MongoDb数据库中，并通过索引匹配出可以作为查询条件的数据项，并生产批次号保存到中间库，在进行二次搜索的时候，我们可以通过查询批次号检索查询数据项，动态生成二次搜索的条件，实现二次查询条件的灵活配置，且在二次搜索时，通过solr创建的索引直接去中间库中(MongoDb)检索对应的批次数据，这样大大的减少了二次查询数据总量，提高检索效率，并降低对业务数据库性能影响。

为实现上述目的，本发明的解决方案是：

一种基于二次检索的数据查询方法，其步骤为：

1)创建一索引模板，当一用户登录客户端进行第一次检索时，为该用户的本次登录生成一批次号，并该批次号和该第一次检索结果保存到中间库服务器中；

2)索引服务器根据该索引模板从该第一次检索结果中提取所有可作为查询条件的数据项及拆分规则，创建该批次号的索引；

3)当该用户进行二次检索时，从该批次号的索引中读取所有包含该用户所输入二次查询条件的索引数据，然后根据该索引数据从所述中间库服务器中获取检索结果。

进一步的，所述中间库服务器为MongoDb数据库；将该第一次检索结果以BSON的格式存放到所述MongoDb数据库中。

进一步的，所述索引服务器为solr服务器；所述第一次检索结果按照索引中的拆分规则以键值对保存到中间库服务器中。

进一步的，所述索引数据采用键值对形式保存，其中键RowKey＝查询条件+<分隔符>+DATAID，DATAID为键值数据的唯一标识；键值为第一次检索结果。

进一步的，所述键值数据的唯一标识DATAID的信息包括：时间，客户端编号，地址和流水号。