[发明专利]一种基于多层隐马模型的分词方法及系统

权利要求书

1.一种基于多层隐马模型的分词方法，其特征在于，包括：

对输入的原始字符串进行预处理，得到初步分词的二元切分词图；

利用多层隐马模型对原始字符串进行未登录词识别，以对初步分词的二元切分词图进行修正，得到修正后的二元切分词图；

利用基于词分类的隐马模型对修正后的二元切分词图进行处理，得到所述原始字符串对应的分词序列。

2.如权利要求1所述的基于多层隐马模型的分词方法，其特征在于，所述对输入的原始字符串进行预处理，得到初步分词的二元切分词图，包括：

对所述原始字符串进行原子切分，得到所述原始字符串对应的原子分词序列；

采取N-GRAM方法对原子分词序列进行处理，得到能覆盖歧义的最佳N个分词结果；

由N个分词结果中最大概率的分词结果形成所述初步分词的二元切分词图。

3.如权利要求2所述的基于多层隐马模型的分词方法，其特征在于，所述未登录词包括未登录词中的人名、地名、机构名和专用词，所述多层隐马模型包括人名识别隐马模型、地名识别隐马模型以及机构名和专用词识别隐马模型。

4.如权利要求3所述的基于多层隐马模型的分词方法，其特征在于，所述利用多层隐马模型对原始字符串进行未登录词识别，以对初步分词的二元切分词图进行修正，得到修正后的二元切分词图，包括：

利用所述人名识别隐马模型对所述能覆盖歧义的最佳N个分词结果进行人名识别，得到人名识别结果，并利用人名识别结果对所述初步分词的二元切分词图进行人名修正，得到人名修正后的二元切分词图；

利用所述地名识别隐马模型对人名识别结果进行地名识别，得到地名识别结果，并利用地名识别结果对人名修正后的二元切分词图进行修正，得到地名修正后的二元切分词图；

利用所述机构名和专用词识别隐马模型对地名识别结果进行识别，得到机构名及专用词识别结果，并利用机构名及专用词识别结果对所述地名修正后的二元切分词图进行修正，得到所述修正后的二元切分词图。

5.如权利要求4所述的基于多层隐马模型的分词方法，其特征在于，所述利用所述人名识别隐马模型对所述能覆盖歧义的最佳N个分词结果进行人名识别，得到人名识别结果，包括：

将熟语料库中已标注的句子按照人名角色进行划分，并对人名角色信息进行统计，抽取出人名角色信息；

使用N-Best viterbi算法对所述能覆盖歧义的最佳N个分词结果进行角色的自动标注，得到概率最大的标注结果；

利用抽取出的人名角色信息对概率最大的标注结果进行修正，得到所述人名识别结果。

6.如权利要求4所述的基于多层隐马模型的分词方法，其特征在于，所述利用所述地名识别隐马模型对人名识别结果进行地名识别，得到地名识别结果，包括：

将熟语料库中已标注的句子按照地名角色进行划分，并对地名角色信息进行统计，抽取出地名角色信息；

使用N-Best viterbi算法对所述人名识别结果进行角色的自动标注，得到概率最大的标注结果；

利用抽取出的地名角色信息对概率最大的标注结果进行修正，得到所述地名识别结果。

7.如权利要求4所述的基于多层隐马模型的分词方法，其特征在于，所述利用所述机构名和专用词识别隐马模型对地名识别结果进行识别，得到机构名及专用词识别结果，包括：

将熟语料库中已标注的句子按照机构名及专用词角色进行划分，并对机构名及专用词角色信息进行统计，抽取出机构名及专用词角色信息；

使用N-Best viterbi算法对所述人名识别结果进行角色的自动标注，得到概率最大的标注结果；

利用抽取出的机构名及专用词角色信息对概率最大的标注结果进行修正，得到所述机构名及专用词识别结果。