[发明专利]海量文件检索方法、装置、计算机设备及存储介质

权利要求书

1.一种海量文件检索方法，其特征在于，包括：

获取待建立索引的初始文本，判断初始文本是中文文本，或者是英文文本；

若初始文本是英文文本，对英文文本进行分词得到英文分词结果，根据英文分词结果建立第一索引，将第一索引发送至预选建立的分布式内存网格中进行存储；

若初始文本是中文文本，对中文文本进行分词得到中文分词结果，根据中文分词结果建立第二索引，将第二索引发送至所述分布式内存网格中进行存储；

获取客户端所发送的查询语句，将查询语句进行分词得到查询分词；

若第一索引或第二索引中存在与查询分词对应的索引项，获取索引项对应的查询结果并发送至客户端。

2.根据权利要求1所述的海量文件检索方法，其特征在于，所述根据英文分词结果建立第一索引，包括：

根据英文分词结果创建英文索引字典，所述英文索引字典中包括的每一个单词均对应英文文本的文档编号；

将英文索引字典中包括的单词按照字典序进行排序；

将相同的单词进行合并，并将相同的单词对应的文档编号进行归集，得到第一索引。

3.根据权利要求1所述的海量文件检索方法，其特征在于，所述对中文文本进行分词得到中文分词结果，包括：

按从左至右的顺序从中文文本中取出候选词；

在预先存储的词典中查询与每一候选词对应的概率值，并记录每一候选词的左邻词；

计算获取每一候选词的累积概率，及每一候选词的多个左邻词的累积概率，若每一候选词的多个左邻词中存在累积概率为多个左邻词的累积概率中最大值的左邻词，将累积概率中最大值的左邻词作为与候选词对应的最佳左邻词；

以中文文本的终点词为起点，从右至左依次输出与每一候选词对应的最佳左邻词，得到与中文文本所对应中文分词结果。

4.根据权利要求1所述的海量文件检索方法，其特征在于，所述根据中文分词结果建立第二索引，包括：

根据中文分词结果创建中文索引字典，所述中文索引字典中包括的每一个词语均对应中文文本的文档编号；

将中文索引字典中包括的词语按照字典序进行排序；

将相同的词语进行合并，并将相同的词语对应的文档编号进行归集，得到第二索引。

5.根据权利要求1所述的海量文件检索方法，其特征在于，所述获取索引项对应的查询结果并发送至客户端，包括：

获取查询结果中查询分词对应的词语频次；

根据查询分词的词语频次对查询结果进行降序排序，得到降序排序结果；

将降序排序结果发送至客户端。

6.一种海量文件检索装置，其特征在于，包括：

初始文本类型判断单元，用于获取待建立索引的初始文本，判断初始文本是中文文本，或者是英文文本；

第一索引获取单元，用于若初始文本是英文文本，对英文文本进行分词得到英文分词结果，根据英文分词结果建立第一索引，将第一索引发送至预选建立的分布式内存网格中进行存储；

第二索引获取单元，用于若初始文本是中文文本，对中文文本进行分词得到中文分词结果，根据中文分词结果建立第二索引，将第二索引发送至所述分布式内存网格中进行存储；

查询分词单元，用于获取客户端所发送的查询语句，将查询语句进行分词得到查询分词；

查询结果发送单元，用于若第一索引或第二索引中存在与查询分词对应的索引项，获取索引项对应的查询结果并发送至客户端。

7.根据权利要求6所述的海量文件检索装置，其特征在于，所述第一索引获取单元，包括：

第一索引字典创建单元，用于根据英文分词结果创建英文索引字典，所述英文索引字典中包括的每一个单词均对应英文文本的文档编号；

第一字典序序排序单元，用于将英文索引字典中包括的单词按照字典序进行排序；

第一合并归集单元，用于将相同的单词进行合并，并将相同的单词对应的文档编号进行归集，得到第一索引。