[发明专利]一种交互式抽取可比语料与双语词典的方法及其装置

说明书

技术领域

本发明涉及跨语言信息处理技术领域，具体来说是一种交互式抽取可比语料与双语词典的方法及其装置。

背景技术

双语可比语料和双语词典是两种不同粒度的跨语言资源，对统计机器翻译和跨语言信息检索等跨语言信息处理具有重要的价值。可比语料由语言不同、内容相似但非互译的文档对构成，从中挖掘双语互译词汇、双语命名实体、平行句对等不同粒度的翻译等价对，可有效解决双语词典编纂中面临的新词和旧词新意等问题，双语词典等更细粒度的双语知识可直接用于跨语言信息处理。

可比语料的获取主要通过特征信息、跨语言检索和维基百科等方法来实现。在特征信息方面，采用新闻发布日期、语言无关单元、双语字典和词频分布等特征计算文档对的相似性。在跨语言检索方面，将某一语言文档中特定频率词汇或关键词翻译成另一语言作为查询词检索文档，构成可比语料库。在维基百科方面，以维基百科类别信息作为主题约束，以语言链接进行双语映射采集相应源语言和目标语言的百科页面。

双语词典的挖掘主要通过词汇共现、上下文信息等方法来实现。在词汇共现方面，通过建立源语言文本和目标语言文本的共现矩阵，计算矩阵相似度来进行翻译等价对的抽取；在上下文信息方面，计算两个双语词的上下文向量之间的相似性来选取最大可能的对应词汇。

然而，现有的挖掘这两类资源的方法都是通过先获取可比语料，再从可比语料抽取双语词典。这些方法分步将两个密切相关的任务分离，无法通过获取的双语词典来为不同语言文档的相似度计算提供支持，也无法区分相似度差异的可比语料来为不同语言词汇的相似度计算提供支持。如何避免上述两点不足实现同步、准确地抽取已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决领域种子双语词典规模不足条件下难以识别可比语料和可比度不同条件下难以提取互译词汇的缺陷，提供一种交互式抽取可比语料与双语词典的方法及其装置来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种交互式抽取可比语料与双语词典的方法，包括以下步骤：

预处理过程，对文档进行词性还原、分词、去停用词，得到预处理后的文档集合以及词汇集合；

针对M个源语言文档、N个目标语言文档，进行词性还原、分词、去停用词预处理，得到源语言文档集合D_S＝{d_m|1≤m≤M}、目标语言文档集合D_T＝{d_n|1≤n≤N}、源语言词汇集合W_S＝{w_a|1≤a≤A}、目标语言词汇集合W_T＝{w_b|1≤b≤B}，其中M、N、A、B分别为源语言文档集包含文档个数、目标语言文档集包含文档个数、源语言词汇集合中包含词汇个数、目标语言词汇包含词汇的个数；m、n、a、b为相应集合中的某一元素的标号，其均为正整数；

分别构建源语言文档-目标语言文档、源语言词汇-目标语言词汇、双语词汇对-双语文档对的关系；

迭代增强计算双语文档对和双语词汇对的权重；

选择权重最大的双语文档对构建可比语料，选择权重最大的双语词汇对构建双语词典；双语文档对的权重越大则不同语言文档的相关性越强，选择权重最大的双语文档对构成可比语料；双语词汇对的权重越大则不同语言词汇的相关性越强，选择权重最大的双语词汇对构成双语词典。

所述的构建源语言文档-目标语言文档关系包括以下步骤：

对源语言文档集合D_S和目标语言文档集合D_T构建源语言文档-目标语言文档的关系R-DD，对D_S和D_T中任意源语言文档d_m和目标语言文档d_n构成双语文档对；

通过d_m和d_n构成的双语文档对利用词汇重合度计算双语文档对x_i的权重其计算公式如下：