[发明专利]一种政务大数据超级搜索方法

说明书

一种政务大数据超级搜索方法，采用ElasticSearch+MPP架构，重点解决大规模结构化数据高效查询检索问题，能够高效实现关键词全文检索、拼音检索、范围检索、逻辑组合检索和人像检索，并可对搜索结果的显示字段灵活配置，解决现有检索方式检索查询效率慢、检索数据种类少、检索范围不足以及搜索结果显示修改难等问题，同时结合MPP DB、HDFS、Neo4j多类型数据存储模式可实现搜索结果详情信息的快速全面查询查看。

技术领域

本发明属于大数据检索技术领域，涉及一种基于ElasticSearch和MPPDB的政务大数据 超级搜索方法。

背景技术

大数据是信息化发展的新阶段。随着信息技术和人类生产生活交汇融合，互联网快速普 及，全球数据呈现爆发增长、海量集聚的特点，对经济发展、社会治理、国家管理、人民生 活都产生了重大影响。

政务大数据搜索，是指根据数据特征，如关键字、语意、内容、人像等对大数据集合进 行检索、分类、筛选、过滤和排序等。政府部门数据检索早期主要依赖基于SQL的数据库检索，随着数据量的增加，逐渐发展到基于Solr的全文检索，然而，在大数据时代，随着信息爆炸，当数据规模达到一定程度时，Solr的搜索效率会变得很低。

发明内容

本发明的目的在于提供一种政务大数据超级搜索方法，该方法能够高效实现关键词全文 检索、拼音检索、范围检索、逻辑组合检索和人像检索，并可对搜索结果的显示字段灵活配 置，解决现有检索方式检索查询效率慢、检索数据种类少、检索范围不足以及搜索结果显示 修改难等问题。

本发明的技术方案如下：

一种政务大数据超级搜索方法，其特征在于，包括以下步骤：

(1)搭建ElasticSearch集群，基于数据存储模块MPPDB抽取数据构建全文索引库，统一各索引表前缀，完成超级搜索模块的解析器、图像识别、分词器、查询器、范围检索、 拼音检索、逻辑组合检索、对外接口等功能实现；

(2)与步骤(1)同步进行，实现超级搜索的筛选条件、显示结果页字段或显示详情页 字段以及显示位置排序等的灵活配置；

(3)超级搜索模块对数据治理模块的接口调用，实现字段灵活配置；

(4)全息档案模块从数据存储模块调用全息档案信息，从MPP DB集群存获取基本信 息、轨迹信息等，从HDFS获取图片信息，从Neo4j高性能图数据库存储获取目标对象的实体和关系信息；

(5)基于上述步骤的系统功能，完成搜索流程；

(6)基于上述搜索目标，通过接口进入搜索目标对象的全息档案；

(7)显示超级搜索结果，包含搜索结果列表和目标对象全息档案。

本发明采用ElasticSearch+MPP架构重点解决大规模结构化数据高效查询检索问题，能 够高效实现关键词全文检索、拼音检索、范围检索、逻辑组合检索和人像检索，并可对搜索 结果的显示字段灵活配置，解决现有检索方式检索查询效率慢、检索数据种类少、检索范围 不足以及搜索结果显示修改难等问题，同时结合MPP DB、HDFS、Neo4j多类型数据存储模 式可实现搜索结果详情信息的快速全面查询查看。

附图说明

图1是本发明的功能模块及系统流程图。

具体实施方式