[发明专利]任务型对话及模型训练方法、装置、设备和存储介质

权利要求书

1.一种任务型对话方法，包括：

接收信息；

采用知识选择模型，选择与所述信息匹配的知识，所述知识选择模型采用结构化知识和非结构化知识预训练得到，所述结构化知识的槽位包括自然语言描述信息；

根据所述信息和所述知识生成回复。

2.根据权利要求1所述的方法，其中，所述根据所述信息和所述知识生成回复，包括：

采用预训练的回复生成模型，根据所述信息和所述知识生成回复，所述回复生成模型包括输入层，所述输入层包括类型向量层，所述类型向量层的输入包括互不相同的信息类型标识、知识类型标识和回复类型标识。

3.根据权利要求2所述的方法，其中，所述回复生成模型还包括：

与所述输入层连接的Transformer网络。

4.根据权利要求3所述的方法，其中，所述Transformer网络包括：

自注意力层，所述自注意力层包括第一部分和第二部分，所述第一部分是所述信息和所述知识对应的部分，所述第二部分是所述回复对应的部分，所述第一部分采用双向自注意力机制，所述第二部分采用单向自注意力机制。

5.根据权利要求1所述的方法，其中，所述知识选择模型包括Transformer网络。

6.一种知识选择模型的训练方法，包括：

获取训练语料，所述训练语料包括训练信息、训练非结构化知识和训练结构化知识，所述训练结构化知识的槽位包括自然语言描述信息；

对所述训练语料进行标注；

采用标注后的训练语料进行训练，生成知识选择模型。

7.根据权利要求6所述的方法，其中，所述对所述训练语料进行标注，包括：

对应训练信息标注第一正样本和第一负样本，所述第一正样本为训练结构化知识中的正样本，所述第一负样本为训练结构化知识中的负样本，所述第一正样本包括：所述训练信息对应槽位的自然语言描述信息所属的训练结构化知识；所述第一负样本包括：非所述训练信息对应槽位的自然语言描述信息所属的训练结构化知识、同领域或不同领域的训练非结构化知识；

对应所述训练信息标注第二正样本和第二负样本，所述第二正样本为训练非结构化知识中的正样本，所述第二负样本为训练非结构化知识中的负样本，所述第二正样本包括：与所述训练信息对应的训练非结构化知识；所述第二负样本包括：非与所述训练信息对应的训练非结构化知识；同领域或不同领域的槽位包括自然语言描述信息的训练结构化知识。

8.根据权利要求6所述的方法，其中，所述采用标注后的训练语料进行训练，生成知识选择模型，包括：

基于Transformer网络，采用标注后的训练语料进行训练，生成知识选择模型。

9.一种回复生成模型的训练方法，包括：

获取训练语料，所述训练语料包括训练信息、训练知识和训练回复；

采用输入层将所述训练语料转换为输入向量，所述输入层包括类型向量层，所述类型向量层的输入包括互不相同的信息类型标识、知识类型标识和回复类型标识；

采用深度学习网络对所述输入向量和所述训练回复对应的输出向量进行训练，生成回复生成模型。

10.根据权利要求9所述的方法，其中，所述深度学习网络包括：

Transformer网络。

11.根据权利要求10所述的方法，其中，所述Transformer网络包括：

自注意力层，所述自注意力层包括第一部分和第二部分，所述第一部分是所述训练信息和所述训练知识对应的部分，所述第二部分是所述训练回复对应的部分，所述第一部分采用双向自注意力机制，所述第二部分采用单向自注意力机制。