[发明专利]一种结合Bert语言模型和细粒度压缩的汉蒙翻译方法

权利要求书

1.一种结合Bert语言模型和细粒度压缩的汉蒙翻译方法，其特征在于，包括：

步骤1，将蒙古文数据和中文数据进行预处理；

步骤2，采用Transformer翻译模型，所述Transformer翻译模型的主体是基于自注意力机制构造的编码器和解码器；利用已经预训练好的开源Bert语言模型，将Bert语言模型的输出直接当作每一层编码器中Bert注意力模块的输入，从而将中文的语义信息融入编码器，引入更多的语义信息；

步骤3，结合细粒度压缩方法，通过信息熵对信息表示进行细粒度压缩，从而达到加速推断的目的。

2.根据权利要求1所述结合Bert语言模型和细粒度压缩的汉蒙翻译方法，其特征在于，所述步骤1中，从蒙古文的语言特点出发，对蒙古文数据进行词根、词缀的切分，得到比词级粒度更小的粒度；对中文数据进行分字以及字粒度切分。

3.根据权利要求1所述结合Bert语言模型和细粒度压缩的汉蒙翻译方法，其特征在于，所述步骤2中，Bert语言模型由Transformer模型的Encoder堆叠而成，其目标是利用大规模无标注语料训练、获得包含丰富语义信息的表示。

4.根据权利要求1所述结合Bert语言模型和细粒度压缩的汉蒙翻译方法，其特征在于，所述步骤2中，首先将源语言句子输入已经训练好的开源Bert语言模型，输出的是包含该句子语义信息的语义表示向量，再将此向量融入编码器中。

5.根据权利要求1所述结合Bert语言模型和细粒度压缩的汉蒙翻译方法，其特征在于，所述Bert语言模型和细粒度压缩方法融入Transformer翻译模型。

6.根据权利要求5所述结合Bert语言模型和细粒度压缩的汉蒙翻译方法，其特征在于，所述步骤3中，将信息熵作为不同层的注意力权重所包含的信息量大小的衡量指标，通过细粒度压缩对解码器中每层注意力的查询表示Q和键表示K进行信息压缩，从而在译文质量不发生明显改变的情况下提升模型的推断速度。

7.根据权利要求6所述结合Bert语言模型和细粒度压缩的汉蒙翻译方法，其特征在于，对于一个随机变量X，信息熵的计算公式如下：

其中，E()是信息熵，P(·)为变量X的概率质量函数，G(·)表示所含信息量，x_i是第i个事件；

第d个序列的概率质量函数表为：

其中，P(C_t)是概率质量函数，C_t代表t时刻句子序列在注意力操作中当前候选语言片段被选中的事件，f_q和f_k分别为注意力子层的输入，d_k为压缩前查询表示Q和键表示K的维度，通过维度变换矩阵W_q和W_k得到Transformer翻译模型注意力层的查询表示Q和键表示K，直接以信息熵的均值作为模型某一层的权重信息量的衡量；

最终得到细粒度表示维度如下：

其中，表示细粒度表示维度，B(E)表示细粒度表示维度函数，λ为映射比例的下界，用来表示空间的压缩程度；E表示每一层的信息量，E_min和E_max为所有层中信息量的最小值和最大值，E_max计算公式如下：

E_max＝ln(1/d_k)

公式中d_k为压缩前查询表示Q和键表示K的维度。