[发明专利]一种基于elasticsearch的数据检索优化方法及系统

说明书

本发明公开了一种基于elasticsearch的数据检索优化方法及系统，属于大数据领域；所述的方法具体步骤如下：S1根据检索目的选择字段数据生成索引；S2对输入的查询语句经过语法分析和语言分析得到一系列词Term；S3通过语法分析得到一个查询树；S4通过索引存储将索引读入到内存；S5利用查询树搜索索引；S6将搜索到的结果文档对查询的相关性进行排序；S7返回查询结果给用户；当使用elasticsearch的目的是为了给其他系统提供检索功能，只需要得到文档id的话，本发明可以选择不存储原始文档，这样会降低磁盘占用，减少不必要的存储，优化存储结构与存储时间，增强了系统的存储容量，提高系统效率。

技术领域

本发明公开一种基于elasticsearch的数据检索优化方法及系统，涉及大数据技术领域。

背景技术

在大数据时代，随着互联网技术的迅速崛起与普及，人们在不同领域产生到的数据量之大，达到了前所未有的程度。同时，数据的产生、存储和处理方式发生了革命性的变化，人们的工作和生活基本上都可以用数字化表示，因此采用一种有效检索数据的方式愈发重要。

在各种全文检索系统中，以elasticsearch为代表的产品以方便易用快速高效获得了大家的认可，被各种团队广泛地使用于各种业务系统中；现行的全文检索系统在检索工作时，无法有效的针对业务需求对检索范围进行调整，同时检索过程中的数据缓存会造成数据检索的延迟，故现发明一种基于elasticsearch的数据检索优化方法及系统，以解决上述问题。

发明内容

本发明针对现有技术的问题，提供一种基于elasticsearch的数据检索优化方法及系统，所采用的技术方案为：一种基于elasticsearch的数据检索优化方法，所述的方法具体步骤如下：

S1根据检索目的选择字段数据生成索引：

S101将索引文件经过语法分析和语言处理形成一系列词Term；

S102经过索引创建形成词典和反向索引表；

S103通过索引存储将索引写入硬盘；

S2对输入的查询语句经过语法分析和语言分析得到一系列词Term；

S3通过语法分析得到一个查询树；

S4通过索引存储将索引读入到内存；

S5利用查询树搜索索引，得到每个词Term的文档链表，对文档链表进行交差，并得到结果文档：

S501基于elasticsearch做搜索，将原始文件存入hbase中；

S502根据搜索需求，将文档存入elasticsearch中进行索引，在存入的时候使用hbase中的文档id作为elasticsearch的id，同时设置不保存原始文件；

S503搜索时通过elasticsearch搜索到文档id，然后利用这一id去hbase中快速得到文件；

S6将搜索到的结果文档对查询的相关性进行排序；

S7返回查询结果给用户，将elasticsearch的内存设置为系统可用内存的一半，另一半留给系统做缓存使用。

所述S103通过索引存储选择性的将索引写入硬盘。

一种基于elasticsearch的数据检索优化系统，所述的系统具体包括分词模块、过滤模块、分析模块、存储模块、查询模块、排序模块和反馈模块：

分词模块：根据检索目的选择字段数据生成索引；

所述分词模块具体包括处理模块、建立模块和保存模块：

处理模块：将索引文件经过语法分析和语言处理形成一系列词Term；