[发明专利]融入源语言词级信息的汉越低资源跨语言摘要方法

权利要求书

1.融入源语言词级信息的汉越低资源跨语言摘要方法，其特征在于：所述方法的具体步骤如下：

Step1、语料预处理：进行越南语数据采集，采集到的数据通过预处理得到不同规模的平行训练语料、验证语料和测试语料，用于模型训练、参数调优和效果测试；

Step2、源语言词级信息提取：提取器对源语言文档的每个词进行一个打分，提取器首先使用卷积神经网络对每个词进行表征，接着利用循环神经网络对表征后的词进行打分，提取出重要的、关键的词级信息；

Step3、融入源语言词级信息的汉越跨语言摘要模型构建：将机器翻译和单语摘要任务与跨语言摘要任务联合训练，并将提取器提取出源语言词级信息融入到跨语言摘要的生成过程中，使用Step1的语料作为模型输入，产生最终的摘要。

2.根据权利要求1所述的融入源语言词级信息的汉越低资源跨语言摘要方法，其特征在于：所述Step1的具体步骤为：

Step1.1、把越南新闻网站作为数据来源进行越南语数据采集；

Step1.2、而对应汉语摘要的构建，首先利用谷歌翻译工具将采集到的越南语摘要S_vi翻译成汉语摘要S_zh，然后将翻译的结果反向翻译回越南语摘要S0_vi；处理后的数据对满足ROUGE-1(S_vi,S0_vi)＞T₁和ROUGE-2(S_vi,S0_vi)＞T₂，T₁设置为0.5，T₂设置为0.2；最后，构建伪平行语料对的训练集、伪平行语料对的验证集、伪平行语料对的测试集。

3.根据权利要求1所述的融入源语言词级信息的汉越低资源跨语言摘要方法，其特征在于：所述Step2的具体步骤如下：

Step2.1、提取器的目标是将源语言文本里的词级信息提取出来，即根据每个词对摘要生成的影响，给每个词进行一个权重分配，将一篇源语言文本输入到提取器，首先使用时间卷积神经网络模型得到每个词的表征r_j，将每个词的表征r_j输入到双向LSTM-RNN即LSTM-Decoder得到每个词进一步的表征h_j；然后，提取器添加了另一个LSTM-RNN即LSTM-Decoder来训练指针网络，最终，每个词的得分q_i计算如下：

其中，公式里e_t是通过glimpse operation的输出得到的：

在公式(3)中，z_t为LSTM-Decoder的输出，v_p、W_p1、W_p2、v_g、W_g1、W_g2均是提取器模型可训练的参数；在每t个时间步，LSTM-Decoder执行2-hop注意机制：首先通过关注h_j获得上下文表征e_t，然后再次通过关注h_j以获得每个词最终的得分，其中，j_t表示在时间步长t时选择的词，j_k表示在时间步长k时选择的词。

4.根据权利要求1所述的融入源语言词级信息的汉越低资源跨语言摘要方法，其特征在于：所述Step3的具体步骤如下：

Step3.1、将越南语源语言文本输入编码器，得到越南语文本的表征；为了使编码器能够识别与摘要最相关的信息，首先，使用提取器来预测输入的源语言文章的每个词成为摘要的概率权重，即每个词的得分q_i；然后，在模型的编码器E上附加了一个额外的输出层，它预测了在摘要中包含第i个词的概率p_i；为了使提取器提取的源语言词级信息融入到跨语言摘要的生成过程中，采取的策略是最大限度地减少q_i和p_i之间的差异；对于模型编码器和提取器之间的交互，使用以下损失函数：

其中，L表示源语言文章中词的个数；

Step3.2、解码器的目标是生成中文摘要为了更好的联合训练单语摘要任务和跨语言摘要任务，共享整个解码器D₁的参数；具体而言，将源语言摘要和目标语言摘要拼接起来一同输入解码器中：

其中，[BOS]和[EOS]分别是输出摘要的开始和结束标签，[LSEP]是将源语言摘要和目标语言摘要区分的分隔符；解码器首先生成源语言摘要y_src在此基础上，生成目标语言摘要y_tgt这样，将不同语言摘要之间的关系联系起来，实现知识的转移；使用以下损失函数：

在公式(8)中，n和表示源语言摘要中词的个数，n′表示目标语言摘要中词的个数，m表示每个样本的编号，表示源语言摘要中第i个词，表示源语言摘要中前i个词，不包括第i个词；表示目标语言摘要中第i个词，表示目标语言语言摘要中前i个词，不包括i个词；

Step3.3、由于跨语言摘要被认为是一种特殊的机器翻译，机器翻译的信息压缩比是1：1，跨语言摘要的信息压缩比是n:1；所以把机器翻译作为联合训练任务，这样在跨语言摘要生成的过程中，更好的解决“跨”的过程；用构建的源语言摘要和目标语言摘要作为训练编码器E和解码器D₂的训练集；使用如下的损失函数：

为了更好的利用机器翻译任务来帮助跨语言摘要生成，做了两方面的工作；第一，共享了两个解码器D₁和D₂的底层参数，顶层参数则分别进行了训练；第二，采用交替训练策略，用固定数量的小批量数据优化每个任务，以联合训练跨语言摘要和机器翻译；

Step3.4、最终的损失函数如下：

L_θ＝L_cls+L_mt+λL_dis (10)

这里，λ是个超参数，在实验里，设置为10，最终的训练目标由两个部分构成；第一，在构建的语料库中抽取一个批次用L_mt来训练编码器E和解码器D₂；第二，在构建的语料库中抽取一个批次利用L_mt+λL_dis来训练E和解码器D₁。