[发明专利]基于语义门的闲聊型多轮对话方法、系统、介质及设备

说明书

本发明提供了一种基于语义门的闲聊型多轮对话方法、系统、介质及设备，包括：步骤S1：根据业务需求收集相应用户语料并进行预处理，得到预处理后的语料；步骤S2：利用预处理后的语料对预训练语言模型GPT2‑Chinese进行微调，得到微调后GPT2生成模型，使得微调后GPT2生成模型学会从通用自然语言预测转向符合车载文本语言风格的预测生成；步骤S3：输入文本利用微调后GPT2生成模型生成多个回复，并按照置信度从大到小排序，取前N条回复；步骤S4：利用预设数据库对Bert分类模型进行微调，得到微调后的Bert分类模型；步骤S5：联合微调后的Bert分类模型进行回复筛选，使生成的车载闲聊文本流畅且符合用户语义的目的。

技术领域

本发明涉及人工智能处理技术领域，具体地，涉及基于语义门的闲聊型多轮对话方法、系统、介质及设备，更为具体地，涉及一种自然语言生成可控方法及系统。

背景技术

近三年来，预训练语言模型掀起了自然语言研究任务的热潮。语言模型在高质量、大规模的数据集上预先训练，学习理解自然语言的表示，研究者可直接使用预训练语言模型微调处理下游任务，省去了繁琐的模型训练过程，促进了各种自然语言处理技术的快速发展。预训练语言模型主要学习词的上下文表示，根据不同的序列预测方式可分为自编码和自回归语言模型。谷歌提出的Bert是典型的自编码代表，使用Transformer抽取特征，引入Masked Language Model(MLM)和Next Sentence Prediction(NSP)预训练目标，能够获取上下文相关的双向特征表示，擅长处理句子或段落的匹配任务，但预训练过程和生成过程的不一致，导致在生成任务上效果不佳。自回归语言模型的代表有ELMo、GPT、XLnet：Peters Matthew E等人提出ELMo是最早的预训练语言模型，使用双向长短记忆网络(BiLSTM)串行提取特征，模型按照文本序列顺序拆解的方式从左至右和从右至左两个方向学习词的深度上下文表示，获取上下文信息的双向特征，但ELMo本质上是两个单向语言模型的拼接，不能同时获取上下文表示，且神经网络LSTM不能解决长距离依赖，特征提取能力弱；GPT是首次使用Transformer进行特征抽取，能快速捕捉更长范围的信息，目前已经更新到第三代，GPT1微调阶段引入语言模型辅助目标，解决微调过程中的灾难性遗忘，GPT2是在GPT1上做的改进，使用覆盖更广、质量更高的训练数据，认为预训练中已包含很多特定任务所需的信息，没有针对特定模型的精调流程，在生成任务上取得很好效果，GPT3使用比GPT2更多的训练数据和性能更高的计算资源来提高模型的性能；XLnet模型使用Transformer-XL抽取特征，该模型针对Bert预训练过程与微调不符合的缺点，引入Permuted LanguageModeling(PLM)，能学到各种双向上下文表示，结果表明，XLNet在20个任务上的表现优于BERT，且都有大幅度提升。通过综合分析，虽然XLnet语言模型在学习上下文表示的能力强于其他预训练语言模型，但是单向的自回归语言模型更适合生成任务，考虑到在生成任务中预训练与微调的一致性和闲聊文本的研究是针对中文文本生成的因素，所以本发明选择在中文版的预训练型GPT2-Chinese下进行微调闲聊文本生成任务。虽然GPT3已经问世，但是其模型要求更高的计算资源，实验布置难度大，所以GPT2是最好的选择。由于基于生成模型的闲聊机器人，采用数据驱动的端到端的方法构建，可以对任意问题进行回复，因此灵活性最高，但生成模型生成的回复往往存在语义不准确、上下文不一致等问题，因此准确率最低。

专利文献CN112131367A(申请号：202011018603.6)公开了自审核的人机对话方法、系统及可读存储介质，所述自审核的人机对话系统由输入输出模块、对话回复生成模块组成和对话自审核模块组成。用户可以输入任意对话，通过回复生成模块中的生成模型生成多个候选回复，再通过MMI评分模型计算候选回复相对于历史对话的损失，选择损失最小的作为最终回复。将生成的该回复输入对话自审核模型，先利用预训练的Bert模型提取文本特征，接着采用双向LSTM模型进行分类，判断是否属于敏感语句，若不属于敏感话语，输出该回复给用户；若判断属于敏感语句，则输出事先设置的对话模板中的回复。