[发明专利]基于知识推理的文本生成方法、介质、装置和计算设备

权利要求书

1.一种基于知识推理的文本生成方法，包括：

采用预训练语言模型对序列文本进行处理，至少得到根据当前上下文信息进行前缀生成得到的解码器隐藏状态以及用于确定当前待生成单词的第一概率分布；

从原始文本中提取特定的概念，以便确定进行知识推理时的多个起始概念节点；

基于从原始文本中提取到的特定的概念，按照预设方式对外部知识图谱进行编码，以得到包括多个存在关系路径的知识子图上的概念节点表示向量和关系表示向量；

根据所述由当前上下文信息进行前缀生成得到的解码器隐藏状态和从图谱编码得到的概念节点表示向量和关系表示向量在所述知识子图中进行知识推理，以便得到用于确定当前待生成单词的第二概率分布；

按照预设规则从所述第一概率分布和第二概率分布确定当前待生成的单词。

2.如权利要求1所述的方法，其中，从原始文本中提取特定的概念包括从原始文本中提取特定类型的单词。

3.如权利要求2所述的方法，其中，从原始文本中提取的特定类型的单词为名词和/或动词。

4.如权利要求2所述的方法，其中，基于从原始文本中提取到的特定的概念，按照预设方式对外部知识图谱进行编码，包括：

基于从原始文本中提取到的特定的概念，按照预设的方式从所述外部知识图谱中获取与所述特定的概念相关的知识子图；

基于获取到的知识子图，按照预设的方式对所述知识子图进行更新，以得到包括多个存在关系路径的知识子图上的概念节点表示向量和关系表示向量；

其中，所述知识图谱中包括多个概念节点以及各个概念节点的关系信息，从所述知识图谱中获取的知识子图包括所述多个概念节点中的部分概念节点以及所述部分概念节点的关系信息，更新后的知识子图以所述特定的概念为起始节点。

5.如权利要求4所述的方法，其中，所述知识子图中的各个节点基于其全部邻居节点的信息进行更新，所述信息包括相邻节点之间的关系信息。

6.如权利要求5所述的方法，其中，所述知识子图中的概念节点根据以下方式更新：

其中，表示在所述知识子图中概念节点v的邻居节点u和关系r的集合，集合中每一个元素形如(u,r)；和分别是第l层特定的权重矩阵；为第l+1层的概念节点表示向量，通过查找单词嵌入初始化；为第l+1层的关系表示向量，通过关系类型嵌入初始化；φ(h_u,h_r)＝h_u-h_r。

7.如权利要求1-6中任一所述的方法，其中，采用ConceptNet作为所述外部知识图谱，所述ConceptNet中包括多个三元组，每一三元组表示头部概念与尾部概念具有某种关系，其中，采用预设方式对所述ConceptNet中包括的关系类型进行压缩，并为其中的每一三元组添加反向链接，表示尾部概念与头部概念具有某种关系。

8.一种基于知识推理的文本生成装置，包括：

处理模块，被配置为采用预训练语言模型对序列文本进行处理，至少得到根据当前上下文信息进行前缀生成得到的解码器隐藏状态以及用于确定当前待生成单词的第一概率分布；

提取模块，被配置为从原始文本中提取特定的概念，以便确定进行知识推理时的多个起始概念节点；

编码模块，被配置为基于从原始文本中提取到的特定的概念，按照预设方式对外部知识图谱进行编码，以得到包括多个存在关系路径的概念节点的知识子图上的概念节点表示向量和关系表示向量；

推理模块，被配置为根据所述由当前上下文信息进行前缀生成得到的解码器隐藏状态和从图谱编码得到的概念节点表示向量和关系表示向量在所述知识子图中进行知识推理，以便得到用于确定当前待生成单词的第二概率分布；

生成模块，被配置为按照预设规则从所述第一概率分布和第二概率分布确定当前待生成的单词。