[发明专利]利用同源词的日中机器翻译方法和系统

权利要求书

1.一种利用同源词的日中机器翻译方法，其特征在于，包括：

S1、获取并分词处理日语源句，获取所述日语源句对应的词语序列；

S2、根据预先获取的同源词典，逐一判断所述词语序列中的每个词语是否存在汉语同源词；若存在，将当前词语转化为对应的同源词字形，并转入S3；否则，转入S4；

S3、获取所述同源词字形在共享词典下的词向量表示，记作公有表示，以及获取当前词语在日语词典下的词向量表示，记作私有表示，合并所述公有表示和私有表示作为当前词语最终的词向量表示；所述共享词典是指源语言和目标语言共享同一词嵌入矩阵；

S4、获取当前词语在所述共享词典下的词向量表示，并作为当前词语最终的词向量表示；

S5、根据每个词语最终的词向量表示，获取所述日语源句的完整词向量表示；

S6、将所述完整日语源句的词向量表示输入Transformer模型中，获取对应的中文目标语句。

2.如权利要求1所述的利用同源词的日中机器翻译方法，其特征在于，所述S2中的同源词典构建过程包括同源词挖掘，所述同源词挖掘包括同源汉字映射和同源词映射。

3.如权利要求2所述的利用同源词的日中机器翻译方法，其特征在于，所述同源汉字映射包括：构建同源汉字映射字典，其中健为日文汉字，值为中文汉字。

4.如权利要求3所述的利用同源词的日中机器翻译方法，其特征在于，所述同源词映射包括:

首先分词处理平行语料中的日语和中文句子，并统计词频，将中高频词语分别创建日语和中文的单语词典；

根据所述日语和中文的单语词典，完成所述同源词映射，具体抽取规则包括：

规则一：只对日语词典中的仅包含汉字的词语进行同源词映射挖掘；

规则二：如果日语词汇e直接出现在中文词典中，则保留(e,e)到同源词映射词典中；

规则三：如果日语词汇e没有出现在中文词典中，则把e通过所述同源字映射转换成0到多个的候选词f；如果f出现在中文词典中，则保留(e,f)到同源词映射词典中；

规则四：如果同一个日语词汇e存在多个同源词候选f，则仅保留在所述平行语料中和e共现次数最多的f。

5.如权利要求1所述的利用同源词的日中机器翻译方法，其特征在于，所述S3中当前词语最终的词向量表示，具体包括：

α＝sigmoid(WE_share(e)+UE_private(e)+b)

其中，E_share(e)为日语和中文的共享词向量，即所述公有表示；E_private(e)为日语私有词向量，即所述私有表示；为元素点乘，α为权重向量；W∈R^n×n和U∈R^n×n为权重矩阵参数，b∈Rⁿ为偏置项，均为可学习参数，n为词向量的维数。

6.如权利要求1～5任一项所述的利用同源词的日中机器翻译方法，其特征在于，所述S6具体包括：

S61、将所述完整日语源句的词向量表示输入所述Transformer模型的编码器中，通过多层的Transformer子层得到每个词语的上下文表示；

S62、将所述上下文表示输入所述Transformer模型的解码器中，所述解码器结合前一时刻翻译输出的词向量表示和当前词语对应的最终的词向量表示，获取当前时刻的翻译输出，并连接所有时刻的翻译输出获取所述中文目标语句。

7.如权利要求6所述的利用同源词的日中机器翻译方法，其特征在于，所述Transformer模型的模型参数基于最大似然估计方法进行端到端的训练得到。