[发明专利]改进Transformer融入知识的端到端对话方法

摘要

本发明公开了改进Transformer融入知识的端到端对话方法，首先收集以对话和知识组成的二元组，将该二元组作为训练数据；对训练数据进行清洗，将训练数据组成包括对话、知识和回复的三元组形式，并对该三元组进行预处理；构建由编码运算模块、知识解码器运算模块和解码器运算模块组成的改进的Transformer模型；利用训练数据与三元组训练改进的Transformer模型，并保存；将以对话和知识组成的二元组输入训练好的改进的Transformer模型中，模型预测输出回复结果；用户对模型输出的回复结果进行回复后，将模型输出的回复结果和用户回复拼接到对话记录串中，并选取新的知识输入训练好的改进的Transformer模型中持续进行端到端对话。该方法充分利用Transformer模型结构将知识细致融合用于生成对话。