[发明专利]一种基于elasticsearch的数据检索优化方法及系统

权利要求书

1.一种基于elasticsearch的数据检索优化方法，其特征是所述的方法具体步骤如下：

S1根据检索目的选择字段数据生成索引：

S101将索引文件经过语法分析和语言处理形成一系列词Term；

S102经过索引创建形成词典和反向索引表；

S103通过索引存储将索引写入硬盘；

S2对输入的查询语句经过语法分析和语言分析得到一系列词Term；

S3通过语法分析得到一个查询树；

S4通过索引存储将索引读入到内存；

S5利用查询树搜索索引，得到每个词Term的文档链表，对文档链表进行交差，并得到结果文档：

S501基于elasticsearch做搜索，将原始文件存入hbase中；

S502根据搜索需求，将文档存入elasticsearch中进行索引，在存入的时候使用hbase中的文档id作为elasticsearch的id，同时设置不保存原始文件；

S503搜索时通过elasticsearch搜索到文档id，然后利用这一id去hbase中快速得到文件；

S6将搜索到的结果文档对查询的相关性进行排序；

S7返回查询结果给用户，将elasticsearch的内存设置为系统可用内存的一半，另一半留给系统做缓存使用。

2.根据权利要求1所述的方法，其特征是所述S103通过索引存储选择性的将索引写入硬盘。

3.一种基于elasticsearch的数据检索优化系统，其特征是所述的系统具体包括分词模块、过滤模块、分析模块、存储模块、查询模块、排序模块和反馈模块：

分词模块：根据检索目的选择字段数据生成索引；

所述分词模块具体包括处理模块、建立模块和保存模块：

处理模块：将索引文件经过语法分析和语言处理形成一系列词Term；

建立模块：经过索引创建形成词典和反向索引表；

保存模块：通过索引存储将索引写入硬盘；

过滤模块：对输入的查询语句经过语法分析和语言分析得到一系列词Term；

分析模块：通过语法分析得到一个查询树；

存储模块：通过索引存储将索引读入到内存；

查询模块：利用查询树搜索索引，得到每个词Term的文档链表，对文档链表进行交差，并得到结果文档：基于elasticsearch做搜索，将原始文件存入hbase中；

根据搜索需求，将文档存入elasticsearch中进行索引，在存入的时候使用hbase中的文档id作为elasticsearch的id，同时设置不保存原始文件；

搜索时通过elasticsearch搜索到文档id，然后利用这一id去hbase中快速得到文件；

排序模块：将搜索到的结果文档对查询的相关性进行排序；

反馈模块：返回查询结果给用户，将elasticsearch的内存设置为系统可用内存的一半，另一半留给系统做缓存使用。

4.根据权利要求3所述的系统，其特征是所述保存模块通过索引存储选择性的将索引写入硬盘。