[发明专利]一种基于混合层叠模型的命名实体识别方法

摘要

一种基于混合层叠模型的命名实体识别方法，包括：预处理；利用自适应的选择方式，在隐马尔科夫模型和条件随机场模型中，选择出F值较高的作为自适应的统计识别模型，对预处理后的已识别语料进行初步的命名实体识别，得到初步的命名实体识别结果；构建由知识库和识别规则库构成基础词典；利用基础词典，采用自适应的统计识别模型，对初步的命名实体识别结果进行二次识别，分析二次识别结果的F值，更新基础词典；构建混合层叠模型，对预处理后的待识别语料逐层进行识别，将当前层识别出的识别结果添加到基础词典中供下一层识别使用，最后得到待识别语料中的人名实体、地名实体和机构名实体。本发明的识别准确率和识别召回率有显著提高。

主权项

1.一种基于混合层叠模型的命名实体识别方法，其特征在于，包括以下步骤：步骤1：预处理：对已识别语料和待识别语料均进行分词和词性标注处理，并将已识别语料分为训练语料和不重叠测试语料；步骤2：利用自适应的选择方式，在隐马尔科夫模型和条件随机场模型中，选择出F值较高的作为自适应的统计识别模型，对预处理后的已识别语料进行初步的命名实体识别，得到初步的命名实体识别结果；F值是识别准确率和识别召回率的加权调和平均值；步骤3：构建用于命名实体识别的知识库，在知识库的基础上制定识别规则，并构成识别规则库，由知识库和识别规则库构成基础词典；利用构建的基础词典，采用自适应的统计识别模型，对初步的命名实体识别结果进行二次识别，分析得到的二次识别结果的F值，并更新基础词典；步骤4：构建混合层叠模型，包括三层采用自适应的统计识别模型的子模型，分别为人名实体识别模型、地名实体识别模型和机构名实体识别模型，利用混合层叠模型对预处理后的待识别语料逐层进行识别，混合层叠模型的每一层都利用基础词典，采用自适应的统计识别模型进行识别，并且将当前层识别出的识别结果添加到基础词典中，供下一层识别使用，最后得到待识别语料中的人名实体、地名实体和机构名实体。