[发明专利]一种基于Transformer模型的老汉双语对齐方法

说明书

本发明公开了一种基于Transformer模型的老汉双语对齐方法，属于自然语言处理和机器学习技术领域。双语语料库最为作为自然语言研究领域的重要语言资源，语言信息处理的研究深入，在语料的获取，处理有了长足的进步。本发明首先将篇章级对齐的语料作为输入，由于老挝语与中文的句子排序大致是一致的，所以可以先将篇章级的语料处理为单个的对齐语句，之后将对齐的语句进行拆分。之后将这些对齐的语句进行分词，将分词的词语作为Encoder的输入，通过保留Encoder编码器对输入序列的中间输出结果，训练一个模型来对这些输入进行选择性地学习并且在模型输出时将输出序列进行关联，从而从双语语料库中抽取出平行句对。本发明在老挝语平行句对抽取上有一定的研究意义。

技术领域

本发明涉及一种基于Transformer模型的老汉双语对齐方法，属于自然语言处理和机器学习技术领域。

背景技术

双语语料是统计机器翻译、跨语言检索、双语词典构建等研究领域的重要基础资源，双语语料的数量与质量很大程度上影响甚至决定了相关任务的最终结果。而平行句对的挖掘则是构建双语语料的关键技术，因而具有重要的研究价值。很多情况下，双语语料我们可以获得，但是得到的文本通常并不是以句子为单位对齐的，例如有些是以段落或者按照整篇文章来对齐的。这种情况下，就需要将这些不是以句子为单位对齐的语料整理成句子对齐格式，从而进行平行句对的抽取。

发明内容

本发明要解决的技术问题是提供一种基于Transformer模型的老汉双语对齐方法，用于解决从汉语-老挝语的对齐语料中抽取对齐语句,能够有效提高句子对齐的准确率.

本发明采用的技术方案是：一种基于Transformer模型的老汉双语对齐方法，具体步骤如下：

Step1，将汉-老双语语料预处理后进行数据集划分，其中，已对齐的训练集占90％，乱序测试集占10％；

Step2，根据训练集以及测试集的句子，经过分词，统计其中的互异的词组，以及每个词组出现的次数，并按照出现次数的多少，从大到小排序；

Step3，将分好词的源语言句子进行词嵌入Embedding的单词转换词向量，转换词向量之后进入到positional-encoding部分，对输入的单词的词嵌入加上一个新的向量，即位置向量，来表示单词的位置信息；

Step4，将经过位置信息标识的向量输入multi-headed attention部分，其中包括多个Encoder，每个Encoder中在self-Attention中，词向量通过与训练的权值矩阵相乘，得到Q/K/V矩阵，即Qurey/Key/Value矩阵，同时，为每个Encoder独立维护一套Q/K/V权值矩阵，为Decoder使用；

Step5，通过Encoder的multi-headed attention部分，我们将得到的多个Q/K/V矩阵，把这些矩阵组合形成一个最终的Z矩阵，其中包含了所有的Q/K/V权值，在Decoder部分，在Z的矩阵中找到相关K/V的权值带入Decoder的“Encoder-Decoder attention”层中计算，通过Encoder部分的位置表示信息，最终得出一个向量的集合，通过最终的线性层linear和softmax层，通过概率选取最高的索引，然后找到一一对应的单词作为输出，最终得出译文。

具体地，所述step1中所述的对齐片段为双语对齐语句。

具体地，所述step2所述的分词是指通过python编码，通过电子老挝语字典，对最初老挝语句子分词，使用jieba库，对中文进行分词。

具体地，所述step3中，词嵌入是指将老挝语以及中文通过编码，将文字信息转化为计算机能够识别的数字信息，同时能够对词语空间降维。