[发明专利]支持大量词库的分词方法、计算机可读存储介质及系统

权利要求书

1.一种支持大量词库的分词方法，其特征在于，所述方法包括以下步骤：

(1)构建领域词典，为领域词典中每一个长度大于N的词建立一级索引和二级索引；其中，一级索引的key为每个词的前M个字，一级索引的value值为词的长度；二级索引的key为每个词的头部M位与词的长度的组合，二级索引的value值为词的哈希映射结果；

(2)构建基于领域词典的离线分词模型；

(3)对于待分词的原始文本，通过离线分词模型进行分词，得到第一分词结果；

(4)从原始文本中提取出所有字数超过M的词作为待搜索词；对每个待搜索词，在用户选定的领域词典内先基于一级索引进行搜索，得到一级索引结果，再对一级索引结果进行基于二级索引的搜索，得到二级索引结果；

(5)将二级索引结果与原始文本进行匹配，去掉原始文本中没有的词；对剩下的词进行边界匹配，保留同时满足以下条件的词为候选词：

条件1：词的开始位置与第一分词结果中某一词的开始位置一致；

条件2：词的结束位置与第一分词结果中某一词的结束位置一致；

(6)将候选词和第一分词结果组合为顶点集，构建原始文本的有向图，有向图中每一条路径均表示完整的原始文本；设置有向图中所有边的权重为1，基于最短路径法算出最优分词结果。

2.根据权利要求1所述的支持大量词库的分词方法，其特征在于，所述离线分词模型基于以下一种或多种分词算法实现：机械分词算法、基于n元语法的分词算法、基于隐马尔科夫模型的分词算法、基于条件随机场的分词算法。

3.根据权利要求1所述的支持大量词库的分词方法，其特征在于，所述步骤(4)中，在提取待搜索词之前，还对原始文本进行预处理，找出原始文本中的非中文字符并用空格代替，使预处理后的文本与原始文本长度一致。

4.根据权利要求3所述的支持大量词库的分词方法，其特征在于，所述步骤(4)中，提取待搜索词后还要进行去重处理。

5.根据权利要求1所述的支持大量词库的分词方法，其特征在于，所述步骤(6)中采用的最短路径法为Dijkstra算法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至5任意一项所述的分词方法。

7.一种支持大量词库的分词系统，用于实现权利要求1至5任意一项所述的分词方法，其特征在于，包括离线模型单元、领域词典模块、领域搜索模块和分词重组模块，其中：

领域词典模块存储有预先构建好的不同领域的领域词典，领域词典中每一个长度大于N的词都建立有一级索引和二级索引；

离线模型单元用于对待分词的原始文本进行基于领域词典的分词处理，以得到第一分词结果；

领域搜索模块用于对待分词的原始文本进行待搜索词提取，然后基于待搜索词在领域词典内进行一级索引搜索和二级索引搜索，最后对二级索引结果进行筛选，提取出候选词；

分词重组模块用于将候选词和第一分词结果进行重组，基于重组结果构建原始文本的有向图，并基于最短路径法算出最优分词结果。

8.根据权利要求7所述的支持大量词库的分词系统，其特征在于，所述领域词典模块还具有新词登录功能，即根据用户指令将用户输入的新词登录进用户所选取的领域词典中，并为长度大于N的新登录词语补充索引。

9.根据权利要求8所述的支持大量词库的分词系统，其特征在于，所述领域词典模块还具有离线分词模型更新功能，即根据用户标注的新登录词语控制离线模型单元对原有的离线分词模型进行重新训练，得到更新后的离线分词模型。

10.根据权利要求9所述的支持大量词库的分词系统，其特征在于，所述新登录的词语采用4-tag法进行标注。