[发明专利]一种翻译模型构建方法和系统

说明书

技术领域

本发明属于统计机器翻译技术领域，尤其涉及一种翻译模型构建方法和系统。

背景技术

近年来，随着计算能力的提升和语料资源的不断丰富，统计机器翻译技术逐渐成为自然语言处理领域最重要的研究热点。

统计机器翻译的实现通常包括两个主要过程：训练和解码。所谓训练是指根据一定的算法从语料库资源中训练出统计翻译模型；所谓解码即翻译，是指根据训练出的翻译模型对待翻译文本进行翻译。最初的统计机器翻译方法是基于噪声信道模型建立起来的，之后，研究人员在实践中对该模型进一步泛化提出了基于最大熵思想的统计机器翻译方法，在此基础上，统计机器翻译方法又分别经历了基于词、短语和句法的发展，或多或少的改善了机器翻译的性能，即较之于之前的翻译模型，基于词、短语或句法的翻译模型其翻译性能有了一定程度的提升，但对于实现“信、达、雅”的翻译目标仍十分遥远。

发明内容

有鉴于此，本发明的目的在于提供一种翻译模型构建方法和系统，以有效提升统计机器翻译的翻译质量，进一步推进其实现“信、达、雅”的翻译目标。

为此，本发明公开如下技术方案：

一种翻译模型构建方法，包括：

获取双语平行语料库，所述双语平行语料库包括源语言句子到目标语言句子的对照翻译；

利用所述双语平行语料库生成规则对齐表、单词语义向量表和短语表，所述规则对齐表包括双语对照的层次短语规则，所述单词语义向量表包括双语对照的单词语义向量，所述短语表包括双语对照的短语信息；

利用所述单词语义向量表和所述短语表，生成源语言语义空间下的源语言短语语义向量表及目标语言语义空间下的目标语言短语语义向量表；

对所述源语言语义空间下的源语言短语语义向量表及目标语言语义空间下的目标语言短语语义向量表进行处理，得到翻译模型。

上述方法，优选的，所述利用所述双语平行语料库生成规则对齐表、单词语义向量表和短语表，包括：

对所述双语平行语料库进行预处理，得到词对齐信息，所述词对齐信息包括双语对照的单词词语；

根据所述词对齐信息生成规则对齐表，所述规则对齐表包括双语对照的层次短语规则，所述层次短语规则可表示为：X→<γ,α,～>，其中，X是非终结符，γ和α是由终结符和非终结符构成的字符串，符号“～”表示出现在γ中的非终结符与出现在α中的非终结符之间的一一对应关系；

根据所述词对齐信息生成单词语义向量表，所述单词语义向量表包括双语对照的单词语义向量，所述单词语义向量通过结点互信息PMI计算得到：

pmi(c,t)=logp(c,t)p(c)p(t)=freqcit×freqtotalfreqci×freqt]]>

其中，t表示目标单词，c_i表示在上下文窗口中与t相邻的关联词，表示关联词c_i与目标单词t共现的次数，freq_total表示所有单词出现的次数，表示上下文单词出现的次数，freq_t表示目标词出现的次数；

根据所述词对齐信息生成短语表。