[发明专利]支持大量词库的分词方法、计算机可读存储介质及系统

说明书

本发明提出一种支持大量词库的分词方法、计算机可读存储介质及系统，该方法包括以下步骤：构建领域词典；构建基于领域词典的离线分词模型；对于待分词的原始文本，通过离线分词模型进行分词，得到第一分词结果；对待分词的原始文本进行待搜索词提取，然后基于待搜索词在领域词典内进行一级索引搜索和二级索引搜索，最后对二级索引结果进行筛选，提取出候选词；将候选词和第一分词结果进行重组，基于重组结果构建原始文本的有向图，并基于最短路径法算出最优分词结果。本发明将单一领域分词结果与大词搜索的结果进行组合，基于组合结果构建有向图，将求解最优分词方案的问题转化为最优路径的问题快速求解，非常适合分出大词。

技术领域

本发明涉及人工智能的NLP自然语言处理领域技术领域，具体涉及一种支持大量词库的分词方法、计算机可读存储介质及系统。

背景技术

目前的分词工具较多，比如：jieba，pyltp等，这些分词工具虽然可以有效的分词，但是，实际应用中，不同领域的用词习惯不同，则相同的语句在不同领域的分词结果也应当是不同的。而现有技术大多基于单一词典进行分词，会导致分词结果不够理想。

基于上述原因，目前的分词方案中开始考虑引入领域词典，但仍存在以下缺陷：

1、词典管理功能较弱，不支持大量词库；

2、在大量词库的场景下，缺乏搜索技术的优化，性能慢；

3、词典大词命中逻辑只是简单的权重方案，没有考虑整体，分词结果缺乏合理性。

发明内容

发明目的：本发明旨在针对现有技术的不足，提出一种支持大量词库的分词方法、计算机可读存储介质及系统，能够适应包含不同领域词语的大词量词库的需求，基于词库迅速找出最符合各领域用语习惯的分词方案。

技术方案：为实现上述目的，本发明提出以下技术方案：

首先提出一种支持大量词库的分词方法，所述方法包括以下步骤：

（1）构建领域词典，为领域词典中每一个长度大于N的词建立一级索引和二级索引；其中，一级索引的key为每个词的前M个字，一级索引的value值为词的长度；二级索引的key为每个词的头部M个与词的长度的组合，二级索引的value值为词的哈希映射结果；

（2）构建基于领域词典的离线分词模型；

（3）对于待分词的原始文本，通过离线分词模型进行分词，得到第一分词结果；

（4）从原始文本中提取出所有字数超过M的词作为待搜索词；对每个待搜索词，在用户选定的领域词典内先基于一级索引进行搜索，得到一级索引结果，再对一级索引结果进行基于二级索引的搜索，得到二级索引结果；

（5）将二级索引结果与原始文本进行匹配，去掉原始文本中没有的词；对剩下的词进行边界匹配，保留同时满足以下条件的词为候选词：

条件1：词的开始位置与第一分词结果中某一词的开始位置一致；

条件2：词的结束位置与第一分词结果中某一词的结束位置一致；

（6）将候选词和第一分词结果组合为顶点集，构建原始文本的有向图，有向图中每一条路径均表示完整的原始文本；设置无向图中所有边的权重为1，基于最短路径法算出最优分词结果。

针对所述分词方法，以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

可选的，所述离线分词模型基于以下一种或多种分词算法实现：机械分词算法、基于n元语法的分词算法、基于隐马尔科夫模型的分词算法、基于条件随机场的分词算法。