[发明专利]使用语言模型对序列到序列模型进行冷聚变

权利要求书

1.用于对生成自然语言的序列到序列模型进行训练的计算机实现的方法，所述方法包括：

使用一组训练数据对语言模型预训练；

基于输入序列获取未预训练的序列到序列模型的隐藏状态；

将从预训练的语言模型获得的语言模型隐藏状态与从所述未预训练的序列到序列模型获得的所述隐藏状态组合成组合隐藏状态；以及

使用从所述组合隐藏状态获得的输出来训练所述序列到序列模型。

2.根据权利要求1所述的计算机实现的方法，其中，所述一组训练数据是未标注的训练数据。

3.根据权利要求1所述的计算机实现的方法，其中，所述语言模型在所述序列到序列模型的源域和目标域中的至少一个中训练。

4.根据权利要求1所述的计算机实现的方法，其中，将来自所述预训练的语言模型的所述语言模型隐藏状态与来自所述序列到序列模型的所述隐藏状态组合包括门控计算，所述门控计算将来自所述语言模型的所述隐藏状态和来自所述序列到序列模型的所述隐藏状态两者用作为输入。

5.根据权利要求1所述的计算机实现的方法，其中，将来自所述预训练的语言模型的所述语言模型隐藏状态与来自所述序列到序列模型的所述隐藏状态组合包括对所述预训练的语言模型的状态的每个隐藏节点使用不同的门值。

6.根据权利要求1所述的计算机实现的方法，还包括基于从所述组合隐藏状态获得的所述输出，使用深度神经网络生成分对数输入。

7.根据权利要求6所述的计算机实现的方法，其中，所述分对数输入送入softmax中，以生成用于所述序列到序列模型训练的概率分布。

8.用于使用预训练的语言模型对用于生成自然语言的未预训练的序列到序列模型进行训练的计算机实现的方法，所述方法包括：

在所述未预训练的序列到序列模型的编码器处接收源域中的输入序列；

通过所述编码器生成所述未预训练的输入序列的中间表示；

使用所述未预训练的序列到序列模型的解码器内的至少一个递归层接收所述中间表示；

至少基于所述中间表示，通过所述至少一个递归层生成所述未预训练的序列到序列模型的隐藏状态；

将所生成的隐藏状态与来自所述预训练的语言模型的语言模型隐藏状态组合成组合隐藏状态；以及

基于所述组合隐藏状态，通过所述解码器在目标域中生成分对数输出。

9.根据权利要求8所述的计算机实现的方法，其中，所述序列到序列模型的所述解码器内的所述至少一个递归层是门控递归单元层。

10.根据权利要求8所述的计算机实现的方法，还包括使用不同于所述源域和所述目标域的域中的新数据对所述序列到序列模型进行微调。

11.根据权利要求8所述的计算机实现的方法，其中，所述编码器包括一个或多个递归层以生成所述中间表示。

12.根据权利要求11所述的计算机实现的方法，其中，所述一个或多个递归层是双向长短期记忆层。

13.根据权利要求11所述的计算机实现的方法，其中，所述编码器还包括耦合在所述一个或多个递归层之间的至少一个最大池化层。

14.根据权利要求8所述的计算机实现的方法，其中，将所生成的隐藏状态与来自所述语言模型的所述隐藏状态组合包括门控计算，所述门控计算将来自所述语言模型的所述隐藏状态和来自所述序列到序列模型的所述隐藏状态两者用作为输入。

15.根据权利要求14所述的计算机实现的方法，其中，对于相乘结果，使用逐元素相乘将来自所述门控计算的输出与来自所述语言模型的隐藏状态相结合。