[发明专利]热更新搜索引擎分词字典的方法及装置

权利要求书

1.一种热更新搜索引擎分词字典的方法，其特征在于，该方法是基于用户搜索日志自动发现新词，并将新词以热更新的方式写入到分词字典中；具体如下：

索引配置：通过分析用户搜索日志发现新词，并实时应用到新的搜索过程中；

自动发现新词：根据共现率计算算法分析用户搜索日志，找出当前字典中尚未包含的新词；

热更新字典：将新词通过热更新方式写入分词字典中，新字典可立即生效；

其中，索引配置具体如下：

将文章信息写入搜索引擎库；

遍历搜索日志，处理搜索词，获取候选序列；

分别计算候选序列中序列出现频次及每个词元出现的频次，并设定频次阈值，判断词元 的频次是否小于阈值：

若是，则过滤掉小于阈值的词元及对应候选序列；

将文章信息写入搜索引擎库具体如下：

索引：采用NGram分词方式将文章信息进行分词并创建倒排索引；

搜索：采用IK中文分词器与NGram分词器相结合的方式对用户输入的搜索信息进行分词、匹配；

遍历搜索日志，处理搜索词，获取候选序列具体如下：

把搜索词按空格分成短语；

用IK中文分词器与NGram分词器进行分词处理，找出可能是新词语的短语，即被分解成包含多个词元的序列；

将分解后序列按顺序进行组合，获得k元序列，即候选序列；

自动发现新词具体如下：

根据共现率计算公式计算序列的共现率，公式如下：

其中，C_1…k表示序列频次；C_k表示序列中每个词元的频次；K表示序列长度；P∈(0,1]，P越大，表示此序列是一个新词语的可能性越大；

根据设定的共现率阈值，将大于等于阈值的序列筛选出来，组成新词语，写入到数据库字典表中，等待写入分词字典；

将新词通过热更新方式写入分词字典中具体如下：

获取数据库字典表中新词接口，新词接口与分词器对接；

当数据库字典表产生增量数据后，新词接口自动将新词写入到分词器的分词字典中，完成分词字典的更新；

分词字典的更新后具体如下：

在搜索时，用户输入的搜索信息首先被分词器根据分词字典进行分词；

搜索引擎将对分词后的词元进行搜索，当且仅当文章中包含完整词元时，该文章才会被返回。