[发明专利]海量文件检索方法、装置、计算机设备及存储介质

说明书

本申请公开了一种海量文件检索方法、装置、计算机设备及存储介质。该方法包括：获取待建立索引的初始文本，判断初始文本是中文文本，或是英文文本；若初始文本是英文文本，对其进行分词得到英文分词结果，根据英文分词结果建立第一索引，将且存储在分布式内存网格中；若初始文本是中文文本，对其进行分词得到中文分词结果，根据中文分词结果建立第二索引，将其存储在分布式内存网格中；获取客户端所发送的查询语句，将查询语句进行分词得到查询分词；若第一索引或第二索引中存在与查询分词对应的索引项，获取索引项对应的查询结果并发送至客户端。该方法通过分布式内存网格中存储索引，即使Lucene文件索引库过大时，也能快速的进行检索。

技术领域

本申请涉及文本检索技术领域，尤其涉及一种海量文件检索方法、装置、计算机设备及存储介质。

背景技术

目前中文海量全文检索的方法，用的最多的是基于Lucene内核(Lucene是一个开放源代码的全文检索引擎工具包)的Elasticsearch产品(ElasticSearch是一个基于Lucene的搜索服务器)，所以Lucene固有的问题，同样存在于Elasticsearch中。当基于Lucene内核的Elasticsearch产品中，Lucene文件索引库过大时，会导致检索效率低下。

发明内容

本申请提供了一种海量文件检索方法、装置、计算机设备及存储介质，旨在解决现有技术中基于Lucene内核的中文全文检索，在Lucene文件索引库特别大的时候，导致查询效率低下的问题。

第一方面，本申请提供了一种海量文件检索方法，其包括：

获取待建立索引的初始文本，判断初始文本是中文文本，或者是英文文本；

若初始文本是英文文本，对英文文本进行分词得到英文分词结果，根据英文分词结果建立第一索引，将第一索引发送至预选建立的分布式内存网格中进行存储；

若初始文本是中文文本，对中文文本进行分词得到中文分词结果，根据中文分词结果建立第二索引，将第二索引发送至所述分布式内存网格中进行存储；

获取客户端所发送的查询语句，将查询语句进行分词得到查询分词；

若第一索引或第二索引中存在与查询分词对应的索引项，获取索引项对应的查询结果并发送至客户端。

第二方面，本申请提供了一种海量文件检索装置，其包括：

初始文本类型判断单元，用于获取待建立索引的初始文本，判断初始文本是中文文本，或者是英文文本；

第一索引获取单元，用于若初始文本是英文文本，对英文文本进行分词得到英文分词结果，根据英文分词结果建立第一索引，将第一索引发送至预选建立的分布式内存网格中进行存储；

第二索引获取单元，用于若初始文本是中文文本，对中文文本进行分词得到中文分词结果，根据中文分词结果建立第二索引，将第二索引发送至所述分布式内存网格中进行存储；

查询分词单元，用于获取客户端所发送的查询语句，将查询语句进行分词得到查询分词；

查询结果发送单元，用于若第一索引或第二索引中存在与查询分词对应的索引项，获取索引项对应的查询结果并发送至客户端。

第三方面，本申请又提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请提供的任一项所述的海量文件检索方法。

第四方面，本申请还提供了一种存储介质，其中所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行本申请提供的任一项所述的海量文件检索方法。