[发明专利]一种异源语料自动融合方法

权利要求书

1.一种异源语料自动融合方法，其特征在于，包括以下步骤：

步骤1)构建UNP映射词表；

步骤2)利用所述UNP映射词表对源体系的标注进行归一化处理；

步骤3)确定在语料融合的过程中产生歧义的词的词性，利用知网中的词语的概念定义，对语料体系中词的词义进行评判，进而确定词的词性标记，对于不同的语料体系，将其中需要进行词性排歧的词抽取出来；

步骤4)使用特征模板对目标词汇集合中的单类词进行训练，然后用所述特征模板对多类词进行预测，输出预测结果的概率值；

步骤5)对输出的概率值的分布曲线进行曲线拟合，选择合适数量义原组合为一个概念，然后将组合形成的概念与该词在知网下的各个概念进行相似度比较，选择知网中相似度最大的概念作为当前多类词的推荐结果，并使用推荐结果的词性标记作为该多类词的推荐标记；

步骤6)对预测结果进行置信度评价，以此来提高预测结果的准确性；

步骤7)对经过置信度评价后获得的预测结果，选取特定的几个词类进行正确性验证；

步骤8)将标注后的词及词性信息还原到原始语料中，将各个语料体系下的语料库直接融合为一个更大规模的语料库，形成目标体系。

2.根据权利要求1所述的异源语料自动融合方法，其特征在于，所述源体系包括TCT体系、PKU体系和XD973体系。

3.根据权利要求1所述的异源语料自动融合方法，其特征在于，所述步骤4)的曲线拟合的拟合值CF的公式描述为：

其中，T_f表示输出的概率分布中的最大概率值，T_s表示输出的概率分布中次最大概率值。

4.根据权利要求3所述的异源语料自动融合方法，其特征在于，对所述拟合值的取值公式为

5.根据权利要求1所述的异源语料自动融合方法，其特征在于，所述步骤5)中的置信度的定义为针对知网对于某个词的推荐词性，在结果评定时，认为其为正确的可靠度，置信度的概念描述为DC＝0.48*(log₂(P_mark)+log₂(F_context))；其中：

P_mark代表该标注词本身标记因素，其表示在以往的标记中，该词被标注为c的数量与该词的所有数目的一个比值，P_mark的计算公式为：

其中C_c表示该词被标记为c的所有数目，C_All表示该词的所有数目；

F_context代表该词的上下文环境因素，其计算公式为：

F_context＝(1+C_L)×(1+C_R)，

其中，C_c(l，w)表示上文l与词w共现且词w的标注为c的次数，C_All(l，w)表示上文l与词w的共现次数；C_c(w，l)表示词w与下文l共现且词w的标注为c的次数，C_All(w，l)表示词w与下文l共现的次数。