[发明专利]语言处理方法及装置、语言处理系统的训练方法及装置

说明书

本申请提供了语言处理方法及装置、语言处理系统的训练方法及装置，其中，所述语言处理方法包括：将包括多个待翻译语句的目标段落输入翻译模型，得到每个待翻译语句对应的翻译语句；将包含连接词的翻译语句中的连接词替换为连接标记，将不包含连接词的翻译语句中插入连接标记，生成每个翻译语句对应的标记翻译语句；将多个标记翻译语句输入已训练好的语言模型，语言模型将连接标记删除或替换为对应的最终连接词，得到每个标记翻译语句对应的最终翻译语句，根据每个标记翻译语句对应的最终翻译语句拼接得到翻译段落，从而使段落的翻译结果的语义表达更加流畅，实现了目标任务语言处理的有效提升。

技术领域

本申请涉及机器翻译技术领域，特别涉及一种语言处理方法及装置、语言处理系统的训练方法及装置、计算设备和计算机可读存储介质。

背景技术

现有的机器翻译的方法一般有：

1)基于统计的机器翻译：通过对大量语料进行统计计算，再利用隐马尔可夫或贝叶斯等方法进行句子的生成。

2)基于神经网络的机器翻译：通过对输入句子进行分词，再对词用向量表示，再将句子的信息通过神经网络进行编码，得到编码向量，再通过神经网络进行解码得到解码向量，继而依次生成翻译词语，根据翻译词语组成翻译语句。

无论何种方式，现有的机器翻译方法中，只考虑了每个句子单独的信息，而没有考虑句子与句子之间的逻辑等词的表达，如“而且”、“于是”等。这样往往导致各个句子自己的表达是清楚的，但是翻译结果组成的段落表达却并不流畅，影响了翻译效果。

发明内容

有鉴于此，本申请实施例提供了一种语言处理方法及装置、语言处理系统的训练方法及装置、计算设备和计算机可读存储介质，以解决现有技术中存在的技术缺陷。

本申请实施例提供了一种语言处理系统的训练方法，所述方法包括：

将样本段落中的多个待翻译样本语句及对应的翻译样本语句作为平行语料输入至翻译模型进行训练，直至满足翻译模型的训练停止条件；

将所述样本段落中包含连接词的翻译样本语句中的连接词更换为连接标记，将未包含连接词的所述翻译样本语句中插入所述连接标记，生成每个翻译样本语句对应的标记翻译样本语句；

将多个所述标记翻译样本语句输入至语言模型进行训练，直至满足语言模型的训练停止条件。

可选地，将多个所述标记翻译样本语句输入至语言模型进行训练，直至满足语言模型的训练停止条件，包括：

将多个所述标记翻译样本语句输入语言模型，所述语言模型将所述连接标记删除或替换为对应的最终连接词，得到每个标记翻译样本语句对应的最终翻译样本语句；

根据所述最终翻译样本语句计算所述语言模型的困惑度，直至所述困惑度小于阈值。

本申请实施例提供了一种语言处理方法，所述方法包括：

将包括多个待翻译语句的目标段落输入翻译模型，得到每个待翻译语句对应的翻译语句；

将包含连接词的翻译语句中的所述连接词替换为连接标记，将不包含连接词的翻译语句中插入所述连接标记，生成每个翻译语句对应的标记翻译语句；

将多个所述标记翻译语句输入语言模型，所述语言模型将所述连接标记删除或替换为对应的最终连接词，得到每个标记翻译语句对应的最终翻译语句，其中，所述语言模型根据如上所述的语言处理系统的训练方法而得到；

根据每个标记翻译语句对应的最终翻译语句拼接得到翻译段落。

可选地，所述翻译模型包括编码器和解码器；

将包括多个待翻译语句的目标段落输入翻译模型，得到每个待翻译语句对应的翻译语句，包括：