[发明专利]一种基于多层隐马模型的分词方法及系统

说明书

本发明公开了一种基于多层隐马模型的分词方法及系统，属于人工智能技术领域，包括：对输入的原始字符串进行预处理，得到初步分词的二元切分词图；利用多层隐马模型对原始字符串进行未登录词识别，以对初步分词的二元切分词图进行修正，得到修正后的二元切分词图；利用基于词分类的隐马模型对修正后的二元切分词图进行处理，得到所述原始字符串对应的分词序列。本发明有效将机器学习算法和词典相结合，兼顾运行效率和准确率。

技术领域

本发明涉及人工智能技术领域，特别涉及一种基于多层隐马模型的分词方法及系统。

背景技术

分词算法是人工智能技术领域自然语言处理中比较基础的部分，对语料进行分词，分词的结果可以应用于搜索、语义分析等各种领域。而中文本身的复杂性及语言规则的不确定性，使中文分词技术成为分词技术中的难点。

目前常用的分词方法一般有：基于词典分词算法也称字符串匹配分词算法(正向最大匹配法、逆向最大匹配法和双向匹配分词法等)和基于统计的机器学习算法(如HMM、CRF、SVM、深度学习等算法等)。这些分词方法存在的缺陷在于：基于词典的分词算法是应用最广泛、分词速度最快的，但分词准确率有待提高，尤其是在处理复杂命名实体以及专用名词时的准确率不高；基于统计的机器学习算法需要基于语料库进行标注训练，效率上会有一定影响，准确率受语料库的影响也较大。

发明内容

本发明的目的在于提供一种分词结果准确的多层隐马模型分词方法，有效将机器学习算法和词典相结合，兼顾运行效率和准确率。

为实现以上目的，采用一种基于多层隐马模型的分词方法，包括如下步骤：

对输入的原始字符串进行预处理，得到初步分词的二元切分词图；

利用多层隐马模型对原始字符串进行未登录词识别，以对初步分词的二元切分词图进行修正，得到修正后的二元切分词图；

利用基于词分类的隐马模型对修正后的二元切分词图进行处理，得到所述原始字符串对应的分词序列。

进一步地，所述对输入的原始字符串进行预处理，得到初步分词的二元切分词图，包括：

对所述原始字符串进行原子切分，得到所述原始字符串对应的原子分词序列；

采取N-GRAM方法对原子分词序列进行处理，得到能覆盖歧义的最佳N个分词结果；

由N个分词结果中最大概率的分词结果形成所述初步分词的二元切分词图。

进一步地，所述未登录词包括未登录词中的人名、地名、机构名和专用词，所述多层隐马模型包括人名识别隐马模型、地名识别隐马模型以及机构名和专用词识别隐马模型。

进一步地，所述利用多层隐马模型对原始字符串进行未登录词识别，以对初步分词的二元切分词图进行修正，得到修正后的二元切分词图，包括：

利用所述人名识别隐马模型对所述能覆盖歧义的最佳N个分词结果进行人名识别，得到人名识别结果，并利用人名识别结果对所述初步分词的二元切分词图进行人名修正，得到人名修正后的二元切分词图；

利用所述地名识别隐马模型对人名识别结果进行地名识别，得到地名识别结果，并利用地名识别结果对人名修正后的二元切分词图进行修正，得到地名修正后的二元切分词图；

利用所述机构名和专用词识别隐马模型对地名识别结果进行识别，得到机构名及专用词识别结果，并利用机构名及专用词识别结果对所述地名修正后的二元切分词图进行修正，得到所述修正后的二元切分词图。

进一步地，所述利用所述人名识别隐马模型对所述能覆盖歧义的最佳N个分词结果进行人名识别，得到人名识别结果，包括：

将熟语料库中已标注的句子按照人名角色进行划分，并对人名角色信息进行统计，抽取出人名角色信息；