[发明专利]模型训练方法、对话生成方法和装置、设备及存储介质

权利要求书

1.一种模型训练方法，其特征在于，所述方法包括：

获取样本数据，其中，所述样本数据包括样本问题和候选答案；

对所述样本数据进行分词处理，得到多个样本问答对；

将所述样本问答对输入至预设的神经网络模型中，其中，所述神经网络模型包括编码层和高斯过程层；

通过所述编码层对所述样本问答对进行特征提取，得到样本表征向量；

通过所述高斯过程层对预设变量和所述样本表征向量进行对话预测，得到样本预测概率；

根据所述样本预测概率对所述神经网络模型的损失函数进行优化，得到对话生成模型，其中，所述对话生成模型用于根据输入的目标问题生成目标回复答案。

2.根据权利要求1所述的模型训练方法，其特征在于，所述对所述样本数据进行分词处理，得到多个样本问答对的步骤，包括：

通过预设的分词器对所述样本数据进行分词处理，得到标注有序号标签的样本问题片段和标注有序号标签的候选答案片段；

根据所述序号标签对所述样本问题片段和所述候选答案片段进行组合处理，得到所述样本问答对。

3.根据权利要求1所述的模型训练方法，其特征在于，所述通过所述编码层对所述样本问答对进行特征提取，得到样本表征向量的步骤，包括：

通过所述编码层对所述样本问答对进行编码处理，得到样本嵌入向量；

通过所述编码层对所述样本嵌入向量进行归一化处理，得到所述样本表征向量。

4.根据权利要求1至3任一项所述的模型训练方法，其特征在于，所述通过所述高斯过程层对预设变量和所述样本表征向量进行对话预测，得到样本预测概率的步骤，包括：

通过所述高斯过程层对所述样本表征向量进行高斯先验处理，得到样本先验概率值；

通过预设函数对所述预设变量和所述样本先验概率值进行对话预测，得到所述样本预测概率，其中，所述预设变量服从Polya-Gamma分布。

5.一种对话生成方法，其特征在于，所述方法包括：

获取待处理的目标问题；

将所述目标问题输入至对话生成模型进行对话生成处理，得到目标回复答案，其中，所述对话生成模型根据如权利要求1至4任一项所述的模型训练方法训练得到。

6.根据权利要求5所述的对话生成方法，其特征在于，所述将所述目标问题输入至对话生成模型进行对话生成处理，得到目标回复答案的步骤，包括：

将所述目标问题输入至所述对话生成模型中；

对所述目标问题进行编码处理，得到目标问题嵌入向量；

对所述目标问题嵌入向量进行归一化处理，得到目标问题表征向量；

对所述目标问题表征向量进行对话预测处理，得到预测概率值；

根据所述预测概率值对预设的候选答案进行筛选处理，得到所述目标回复答案。

7.一种模型训练装置，其特征在于，所述装置包括：

数据获取模块，用于获取样本数据，其中，所述样本数据包括样本问题和候选答案；

分词模块，用于对所述样本数据进行分词处理，得到多个样本问答对；

输入模块，用于将所述样本问答对输入至预设的神经网络模型中，其中，所述神经网络模型包括编码层和高斯过程层；

特征提取模块，用于通过所述编码层对所述样本问答对进行特征提取，得到样本表征向量；

对话预测模块，用于通过所述高斯过程层对预设变量和所述样本表征向量进行对话预测，得到样本预测概率；

模型优化模块，用于根据所述样本预测概率对所述神经网络模型的损失函数进行优化，得到对话生成模型，其中，所述对话生成模型用于根据输入的目标问题生成目标回复答案。

8.一种对话生成装置，其特征在于，所述装置包括：

目标问题获取模块，用于获取待处理的目标问题；

对话生成模块，用于将所述目标问题输入至对话生成模型进行对话生成处理，得到目标回复答案，其中，所述对话生成模型根据如权利要求1至4任一项所述的模型训练方法训练得到。