[发明专利]机器翻译质量评估方法、装置、设备及介质

说明书

本申请公开了一种机器翻译质量评估方法、装置、设备及介质，涉及机器学习网络。上述方法应用于机器翻译自动评估系统中，所述机器翻译自动评估系统运行有特征提取网络和分类预测网络，所述方法包括：获取源语句和机器译文，所述机器译文是待评估的机器翻译系统对所述源语句翻译生成的；调用所述特征提取网络对所述源语句和机器译文生成分布式特征表示，所述特征提取网络是基于双语平行语料库采用无监督方式训练的语言编码模型；调用所述分类预测网络对所述分布式特征表示进行分类预测，得到所述机器译文的质量评估结果，所述质量评估结果包含词汇级别和句子级别中的至少一种。

技术领域

本申请实施例涉及机器学习领域，特别涉及一种机器翻译质量评估方法、装置、设备及 介质。

背景技术

随着深度学习的发展，机器翻译系统取得了重大突破并得到了广泛的应用。机器翻译系 统的性能评估通常采用基于参考译文的BLEU(bilingual evaluationunderstudy，双语互译质量 辅助工具)作为评价指标，重点考察机器译文和参考译文之间的匹配程度，但在很多情况下， 参考译文是无法或很难获得的。此外，基于参考译文的评价指标完全忽略了源语句，且很难 处理词法或句法上的同义性。

机器翻译质量评估的目的是在没有参考译文的情况下自动评估机器翻译的质量。词汇级 翻译质量评估任务的目标是为机器译文中的每个词预测质量标签(OK或BAD)来评估每个 词的质量，句子级翻译质量评估的目标是预测需要多少次后编辑操作来评估整个句子的质量。

翻译质量评估训练集的构建需要翻译专家对机器译文进行译后编辑，然后计算翻译结果 与译后编辑结果之间的差异。这里的差异指的是，将译后编辑句子和机器翻译句子使用最大 编辑距离算法进行对齐，根据两个句子对齐的结果，得到每个词的质量标签和句子级的质量 得分。由于译后编辑代价昂贵，目前的翻译质量评估数据集通常只包含1万到2万个句子对， 这使得翻译质量评估非常缺乏训练数据。

在实际的应用场景中，经常需要在无监督的场景之下进行翻译质量评估，但是相关的研 究很少。这里的无监督指的是具备人工标注的质量评估结果的翻译质量评估训练数据不可得 的情况，具体而言，就是指没有翻译专家对于译文进行译后编辑，因此无法通过最大编辑距 离算法得到机器译文的词汇级别质量标签和句子级别评估得分。。

发明内容

本申请实施例提供了一种机器翻译质量评估方法、装置、设备及介质，提供了基于无监 督训练方式的机器翻译质量评估方案，能够在缺乏训练数据的情况下，尽可能提高机器翻译 质量的评估准确性。所述技术方案如下：

根据本申请的一个方面，提供了一种机器翻译质量评估方法，应用于机器翻译自动评估 系统中，所述机器翻译自动评估系统运行有特征提取网络和分类预测网络，所述方法包括：

获取源语句和机器译文，所述机器译文是待评估的机器翻译系统对所述源语句翻译生成 的；

调用所述特征提取网络对所述源语句和机器译文生成分布式特征表示，所述特征提取网 络是基于无监督方式训练的语言编码模型得到的；

调用所述分类预测网络对所述分布式特征表示进行分类预测，得到所述机器译文的质量 评估结果，所述质量评估结果包含词汇级别和句子级别中的至少一种。

根据本申请的另一方面，提供了一种机器翻译质量评估装置，所述装置包括：

获取单元，用于获取源语句和机器译文，所述机器译文是待评估的机器翻译系统对所述 源语句翻译生成的；

特征提取网络单元，用于对所述源语句和机器译文生成分布式特征表示，所述特征提取 网络是基于无监督方式训练的语言编码模型得到的；

分类预测网络单元，用于对所述分布式特征表示进行分类预测，得到所述机器译文的质 量评估结果，所述质量评估结果包含词汇级别和句子级别中的至少一种。