[发明专利]一种异源语料自动融合方法

摘要

本发明涉及一种异源语料自动融合方法，包括以下步骤：步骤1)构建UNP映射词表；步骤2)对源体系的标注进行归一化处理；步骤3)确定产生歧义的词的词性，对语料体系中词的词义进行评判，进而确定词的词性标记；步骤4)对目标词汇集合中的单类词进行训练，然后用所述特征模板对多类词进行预测，输出预测结果的概率值；步骤5)对概率值的分布曲线进行曲线拟合；步骤6)对预测结果进行置信度评价；步骤7)对预测结果进行正确性验证；步骤8)将标注后的词及词性信息还原到原始语料中，将语料库融合为一个更大规模的语料库。本发明扩展了语料库的规模，统一了标注标准，提高了后续基于语料库语言学的研究分析的准确性，获得了较好的效果。

主权项

1.一种异源语料自动融合方法，其特征在于，包括以下步骤：步骤1)构建UNP映射词表；步骤2)利用所述UNP映射词表对源体系的标注进行归一化处理；步骤3)确定在语料融合的过程中产生歧义的词的词性，利用知网中的词语的概念定义，对语料体系中词的词义进行评判，进而确定词的词性标记，对于不同的语料体系，将其中需要进行词性排歧的词抽取出来；步骤4)使用特征模板对目标词汇集合中的单类词进行训练，然后用所述特征模板对多类词进行预测，输出预测结果的概率值；步骤5)对输出的概率值的分布曲线进行曲线拟合，选择合适数量义原组合为一个概念，然后将组合形成的概念与该词在知网下的各个概念进行相似度比较，选择知网中相似度最大的概念作为当前多类词的推荐结果，并使用推荐结果的词性标记作为该多类词的推荐标记；步骤6)对预测结果进行置信度评价，以此来提高预测结果的准确性；步骤7)对经过置信度评价后获得的预测结果，选取特定的几个词类进行正确性验证；步骤8)将标注后的词及词性信息还原到原始语料中，将各个语料体系下的语料库直接融合为一个更大规模的语料库，形成目标体系。