[发明专利]一种基于Transformer模型的老汉双语对齐方法

权利要求书

1.一种基于Transformer模型的老汉双语对齐方法，其特征在于：具体步骤如下：

Step1，将汉-老双语语料预处理后进行数据集划分，其中，已对齐的训练集占90％，乱序测试集占10％；

Step2，根据训练集以及测试集的句子，经过分词，统计其中的互异的词组，以及每个词组出现的次数，并按照出现次数的多少，从大到小排序；

Step3，将分好词的源语言句子进行词嵌入Embedding的单词转换词向量，转换词向量之后进入到positional-encoding部分，对输入的单词的词嵌入加上一个新的向量，即位置向量，来表示单词的位置信息；

Step4，将经过位置信息标识的向量输入multi-headed attention部分，其中包括多个Encoder，每个Encoder中在self-Attention中，词向量通过与训练的权值矩阵相乘，得到Q/K/V矩阵，即Qurey/Key/Value矩阵，同时，为每个Encoder独立维护一套Q/K/V权值矩阵，为Decoder使用；

Step5，通过Encoder的multi-headed attention部分，我们将得到的多个Q/K/V矩阵，把这些矩阵组合形成一个最终的Z矩阵，其中包含了所有的Q/K/V权值，在Decoder部分，在Z的矩阵中找到相关K/V的权值带入Decoder的“Encoder-Decoder attention”层中计算，通过Encoder部分的位置表示信息，最终得出一个向量的集合，通过最终的线性层linear和softmax层，通过概率选取最高的索引，然后找到一一对应的单词作为输出，最终得出译文。

2.根据权利要求1所述的一种基于Transformer模型的老汉双语对齐方法，其特征在于：所述step1中所述的对齐片段为双语对齐语句。

3.根据权利要求1所述的一种基于Transformer模型的老汉双语对齐方法，其特征在于：所述step2所述的分词是指通过python编码，通过电子老挝语字典，对最初老挝语句子分词，使用jieba库，对中文进行分词。

4.根据权利要求1所述的一种基于Transformer模型的老汉双语对齐方法，其特征在于：所述step3中，词嵌入是指将老挝语以及中文通过编码，将文字信息转化为计算机能够识别的数字信息，同时能够对词语空间降维。

5.根据权利要求1所述的一种基于Transformer模型的老汉双语对齐方法，其特征在于：所述step3中，positional-encoding用将p位置映射为一个d_pos维的位置向量，这个向量的第i个元素的数值为PE_2i(p)，使用的公式如下：

6.根据权利要求1所述的一种基于Transformer模型的老汉双语对齐方法，其特征在于：所述step4中，multi-headed attention将Q/K/V通过参数矩阵映射一下，然后再做Attention，并将每次的结果保存，Attention的映射函数如下：

其中，Q,K,V是源语句子通过分词之后，对Encoder部分为单词创建的三个向量，这些向量是通过词嵌入之后，乘以训练过程创建的3个不同矩阵而产生的，而d_K是K的向量维度，K^T为K向量的转置。