[发明专利]一种翻译模型压缩方法、翻译方法及相关装置

说明书

本说明书一个或多个实施例公开了一种翻译模型压缩方法、翻译方法及相关装置，该方法包括：从目标翻译模型中提取词表向量集合，基于词表向量集合映射的正态分布结果确定量化区间，根据确定的量化精度，计算待划分的区间段数目，按照等分的方式将量化区间划分为与区间段数目相同的多个量化区间段，并为每个量化区间段分配一个唯一区间编号，分别将每个量化区间段内包含的词表向量的元素对应的高比特位的原值，用对应的量化区间段的高比特位的区间编号进行替换，并将以区间编号表示的词表向量写入目标翻译模型。从而，实现对目标翻译模型的压缩。

技术领域

本文件涉及人工智能技术领域，尤其涉及一种翻译模型压缩方法、翻译方法及相关装置。

背景技术

随着机器翻译技术的不断发展，在线翻译得到广泛应用。同时，随着业务的升级，离线翻译的应用场景需求也越来越多，诸如扫读笔、翻译机、同声传译耳机等终端设备，通常是在无网或者弱网环境下使用到翻译功能。

但是这类终端设备的内存资源普遍受限，而且终端设备上的内存通常由系统模块、翻译模块、光学字符识别模块、人机对话模块等共享，且内存占用较大。

目前，业界提出较多针对翻译模型的压缩方案，但是，由于压缩方法的不合理，虽然可以降低内存占用，但同时也容易给翻译质量带来较大损失。

发明内容

本说明书一个或多个实施例的目的是提供一种翻译模型压缩方法、翻译方法及相关装置，以通过词表量化的方式实现对翻译模型的压缩，在保证翻译质量受损较小的前提下，减小翻译模型对内存的占用。

为解决上述技术问题，本说明书一个或多个实施例是这样实现的：

第一方面，提出了一种翻译模型压缩方法，包括：

从训练得到的目标翻译模型中提取词表向量集合，其中，所述词表向量集合中的词表向量的元素呈正态分布；

基于所述词表向量集合映射的正态分布结果确定量化区间；

根据确定的量化精度，计算待划分的区间段数目，按照等分的方式将所述量化区间划分为与所述区间段数目相同的多个量化区间段，并为每个量化区间段分配一个唯一区间编号；

分别将每个量化区间段内包含的词表向量的元素对应的原值用对应的量化区间段的区间编号进行替换，并将以区间编号表示的词表向量写入所述目标翻译模型；

其中，所述区间编号的比特位小于所述原值的比特位。

第二方面，提出了一种翻译方法，包括：

确定待翻译的目标原文；

基于所述目标原文从目标翻译模型中查找该目标原文所包含的至少一个词表中每个词表对应的词表向量，其中，所述目标翻译模型中保存的词表向量是利用第一方面所述的翻译模型压缩方法进行量化处理后以区间编号表示的词表向量；

根据所述词表向量和本地保存的向量对应关系，反量化确定该词表向量中各元素的终值，其中，所述对应关系是通过第一方面所述的翻译模型压缩方法预先保存的，且反量化确定的词表向量中各元素的终值与原值的比特位相同；

将所述目标原文所包含的每个词表反量化确定的终值输入所述目标翻译模型进行推理预测，并输出翻译结果。

第三方面，提出了一种翻译模型压缩装置，包括：

提取模块，从训练得到的目标翻译模型中提取词表向量集合，其中，所述词表向量集合中的词表向量的元素呈正态分布；

确定模块，基于所述词表向量集合映射的正态分布结果确定量化区间；

划分模块，根据确定的量化精度，计算待划分的区间段数目，按照等分的方式将所述量化区间划分为与所述区间段数目相同的多个量化区间段，并为每个量化区间段分配一个唯一区间编号；