[发明专利]基于知识推理的文本生成方法、介质、装置和计算设备

说明书

本发明提供一种基于知识推理的文本生成方法、装置和设备。该方法包括采用预训练语言模型对序列文本进行处理，至少得到根据当前上下文信息进行前缀生成得到的解码器隐藏状态以及用于确定当前待生成单词的第一概率分布；从原始文本中提取特定的概念，以便确定进行知识推理时的多个起始概念节点；基于所述特定的概念，按照预设方式对外部知识图谱进行编码，以得到包括多个存在关系路径的知识子图上的概念节点表示向量和关系表示向量；根据所述解码器隐藏状态和所述概念节点表示向量和关系表示向量在所述知识子图中进行知识推理，以便得到用于确定当前待生成单词的第二概率分布；按照预设规则从所述第一概率分布和第二概率分布确定当前待生成的单词。

技术领域

本发明的实施方式涉及自然语言处理领域，更具体地，本发明的实施方式涉及一种基于知识推理的文本生成方法、介质、装置和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

文本生成技术，旨在通过机器根据一段原文本自动化的产生具有高度可读性的相关文本。这一技术自诞生以来，一直是人工智能领域中的热点课题。文本生成技术可以在有效理解原文本内容的基础上，通过对文字的处理与改造，产生全新的文本。这为人们提供一种更为高效、智能的文本转换模式。人们可以根据自身所需，利用文本生成的方法产生形式和内容多种多样的文本。正是由于文本生成技术的灵活性，学界、工业界在过去一段时间内对其进行了一系列的探索性工作。诸如“智能客服机器人”、“写稿机器人”、“写诗机器人”等应用相继出现，有效地提升了相关行业工作人员的工作效率，节约了人力物力成本。

通过长期的研究工作，文本生成技术已经取得了长足的发展。但是，文本作为信息的一种重要载体，其具有丰富的形式及含义。因此，处理及生成文本的过程中，涉及到大量自然语言处理技术和自然语言理解技术，这也使得文本生成技术成为人工智能领域内的一个难点问题。以往大量有关文本生成技术的成果，还在利用甚至完全依赖人工编写的模板来提升生成的效果。这极大地限制了生成内容的多样性和灵活性。近些年，深度学习模型在文本生成方面取得了巨大的进步，但在实际应用中，仍然存在着一些挑战，其中最为突出的就是：模型生成的文本存在着内容单一、容易重复、可读性差的问题。

近些年，知识图谱领域蓬勃发展。许多深度学习的研究者开始考虑在深度学习模型中引入知识图谱作为外部信息，辅助模型产生更好的生成效果。这其中应用最为广泛的就是利用知识图谱辅助问答系统的建设。问答系统利用深度学习模型接收用户输入之后，在知识图谱中寻找相应的答案，并利用语言模型产生最后的回答。而在文本生成领域，目前也有一些工作使用知识图谱进行生成，但是如何在预训练语言模型的框架下有效融入外部知识的信息来增强其知识感知的生成能力仍然是一个开放性且具有挑战的课题。

发明内容

在本上下文中，本发明的实施方式期望提供一种基于知识推理的文本生成方法、介质、装置和计算设备。

在本发明实施方式的第一方面中，提供了一种基于知识推理的文本生成方法，包括：

采用预训练语言模型对序列文本进行处理，至少得到根据当前上下文信息进行前缀生成得到的解码器隐藏状态以及用于确定当前待生成单词的第一概率分布；

从原始文本中提取特定的概念，以便确定进行知识推理时的多个起始概念节点；

基于从原始文本中提取到的特定的概念，按照预设方式对外部知识图谱进行编码，以得到包括多个存在关系路径的知识子图上的概念节点表示向量和关系表示向量；

根据所述由当前上下文信息进行前缀生成得到的解码器隐藏状态和从图谱编码得到的概念节点表示向量和关系表示向量在所述知识子图中进行知识推理，以便得到用于确定当前待生成单词的第二概率分布；

按照预设规则从所述第一概率分布和第二概率分布确定当前待生成的单词。