[发明专利]平行语料的挖掘方法、装置、计算机设备及存储介质

说明书

本发明公开了一种平行语料的挖掘方法，包括：基于多语翻译模型，分别对源句子与每个目标句子进行编码，得到源句子对应的向量和每个目标句子对应的目标编码向量，并将目标编码向量映射到向量空间；针对每个目标句子，计算目标句子对应的相似度分数；基于Top‑K算法，从所有目标句子中，选取K个相似度分数符合预设条件的目标句子，并分别将每个选取的目标句子与源句子组成候选句子对；对候选句子对对应的相似度分数进行正则化处理，并基于得到的正则化处理结果更新候选句子对对应的相似度分数；基于预训练语言模型，对所有候选句子对进行分类，得到候选句子对对应的分类概率，若分类概率大于预设阈值，则将候选句子对作为平行句子。

技术领域

本发明涉及神经机器翻译技术领域，尤其涉及一种平行语料的挖掘方法、装置、计算机设备及存储介质。

背景技术

随着深度学习技术的发展，基于编码器-解码器框架的神经机器翻译已经成为新一代的机器翻译技术，与其他机器翻译方法对比下，神经机器翻译模型在翻译质量上有了极大的提升。

然而，训练神经机器翻译模型需要大量的平行语料，以达至比其他机器翻译方法更好的翻译表现。平行语料是指使用不同语言撰写、相互间具有翻译关系的文本。因此，在一些缺乏平行语料资源的语言对上，神经机器翻译方法没有足够的资源进行模型训练，导致其翻译表现受到限制。

现时在互联网上很容易就可以获取到大量的弱对齐的双语文章以及可比语料，因此，通过平行语料挖掘方法，对齐语料中的平行句子，从而收集大量的平行语料资源，是一种最直接及有效提升神经机器翻译模型的翻译表现的方法。

传统平行语料挖掘方法都是基于语言学的特征以及双语的词典信息，例如句子长度，标点符号的数量、单词对齐等。然而，这些特征需要由语言学专家进行定义及提取，往往涉及大量的专家领域知识，而且需要人工定义，系统并不能自动学习及抽取其特征，且在平行语料挖掘过程存在主观性，从而导致平行语料挖掘的时候准确率的可信度较低。

目前平行语料挖掘方法包括了利用以多语言句子嵌入及基于余弦相似度的相似度测量方法，但对于同样是平行句子的语言对中，它们的余弦相似度不统一，难以使用同一个阀值去获取平行句子，使得平行语料挖掘系统的准确度及召回率较低。

因此，现有方式存在平行语料挖掘准确度较低的问题。

发明内容

本发明实施例提供一种平行语料的挖掘方法、装置、计算机设备及存储介质，以提高平行语料挖掘的准确率。

一种平行语料的挖掘方法，包括：

基于多语翻译模型，分别对源句子与每个目标句子进行编码，得到源句子对应的向量和每个目标句子对应的目标编码向量，并将所述目标编码向量映射到所述源句子对应的向量空间，其中，所述源句子为源语言对应的句子，所述目标句子为目标语言对应的句子；

针对每个所述目标句子，计算所述向量空间中所述目标句子对应的目标编码向量与源句子对应的向量之间的相似度，得到所述目标句子对应的相似度分数；

基于Top-K算法，从所有目标句子中，选取K个相似度分数符合预设条件的目标句子，并分别将每个选取的目标句子与所述源句子组成候选句子对，其中，K为候选句子对的预设阈值；

对所述候选句子对对应的相似度分数进行正则化处理，并基于得到的正则化处理结果更新所述候选句子对对应的相似度分数；

基于预训练语言模型，对所有所述候选句子对进行分类，得到所述候选句子对对应的分类概率，若所述分类概率大于预设阈值，则将所述候选句子对作为平行句子。

一种平行语料的挖掘装置，包括：