[发明专利]一种交互式抽取可比语料与双语词典的方法及其装置

权利要求书

1.一种交互式抽取可比语料与双语词典的方法，其特征在于，包括以下步骤：

11)预处理过程，对文档进行词性还原、分词、去停用词，得到预处理后的文档集合以及词汇集合；

针对M个源语言文档、N个目标语言文档，进行词性还原、分词、去停用词预处理，得到源语言文档集合D_S＝{d_m|1≤m≤M}、目标语言文档集合D_T＝{d_n|1≤n≤N}、源语言词汇集合W_S＝{w_a|1≤a≤A}、目标语言词汇集合W_T＝{w_b|1≤b≤B}，其中M、N、A、B分别为源语言文档集包含文档个数、目标语言文档集包含文档个数、源语言词汇集合中包含词汇个数、目标语言词汇包含词汇的个数；m、n、a、b为相应集合中的某一元素的标号，其均为正整数；

12)分别构建源语言文档-目标语言文档、源语言词汇-目标语言词汇、双语词汇对-双语文档对的关系；

13)迭代增强计算双语文档对和双语词汇对的权重；

14)选择权重最大的双语文档对构建可比语料，选择权重最大的双语词汇对构建双语词典；双语文档对的权重越大则不同语言文档的相关性越强，选择权重最大的双语文档对构成可比语料；双语词汇对的权重越大则不同语言词汇的相关性越强，选择权重最大的双语词汇对构成双语词典。

2.根据权利要求1所述的一种交互式抽取可比语料与双语词典的方法，其特征在于，所述的构建源语言文档-目标语言文档关系包括以下步骤：

21)对源语言文档集合D_S和目标语言文档集合D_T构建源语言文档-目标语言文档的关系R-DD，对D_S和D_T中任意源语言文档d_m和目标语言文档d_n构成双语文档对；

22)通过d_m和d_n构成的双语文档对利用词汇重合度计算双语文档对x_i的权重其计算公式如下：

Rxi=Psim(dm,dn)=2×countTrans(wdm,wdn)count(wdm)+count(wdn),]]>

其中，为根据种子双语词典统计文档d_m中词汇与文档d_n中词汇为互译词汇对的数量，为文档d_m中词汇数量，为文档d_n中词汇数量。