[发明专利]一种复述生成方法、装置、设备及存储介质

说明书

本发明公开了一种复述生成方法、装置、设备及存储介质，方法包括获取第一复述生成语料并分词处理，将得到的输入词序列X_1和标签词序列Y_1作为预训练数据集来训练神经网络模型M；获取并通过第二复述生成语料和神经网络模型M构建知识库，使包含第一复述生成语料和具有时效性的增量复述生成语料的第二复述生成语料中蕴含的复述生成知识以键值对的形式存在于知识库中，将获取第三复述生成语料分词处理得到的输入词序列X_3输入神经网络模型M进行预测，得到神经网络预测结果和查询向量；使用查询向量检索知识库，得到检索结果；融合神经网络预测结果和检索结果，生成最终的复述文本。知识库使复述系统有效迭代更新，并生成有决策依据的复述文本。

技术领域

本发明涉及自然语言处理和机器学习计数领域，具体为一种复述生成方法、装置、设备及存储介质。

背景技术

复述是指在不改变一段文字(句子)的语义为前提下，通过使用一些不同的字词、短语或者其他语言结构，将其用另外一段文字(句子)的方式来表达。在自然语言中，复述具有重要的作用，其不仅是NLP((Natural LanguageProcessing，自然语言处理)系统中的重要模块，也是日常生活中不可或缺的一部分。

现有的复述生成主要是训练序列到序列神经网络模型，首先对文本进行预处理，在经过分词，向量化等操作后，将词向量序列作为输入前馈到神经网络，最后比较真实词标签和模型给出的预测，使用反向传播算法计算梯度，对神经网络权重进行更新，使得网络拟合训练集数据的分布。但这种神经网络训练方法既不适合数据持续增加的场景，也不具备一定的可解释性。

上述方法具体应用深度学习技术，使用端到端的生成模型或者是强化学习模型，取得了不错的复述生成结果。但是基于深度学习技术的模型具有一个难以解决的缺陷：无法很好地面对训练数据持续增加的场景。在实际应用时，用于构建复述系统的数据往往不是同时取得的，也不是一成不变的，随着时间的流逝，收集到的数据是一个累积的过程。然而，这类方法使用的神经网络却需要在一个固定的训练集上进行训练，而无法再适应拟合后来的数据，即便是采用了微调这样的技术，也会遭遇难以接受的灾难性遗忘问题，即适应了后来的数据却遗忘了之前的数据。

发明内容

为克服上述背景技术中现有神经网络训练方法使用的神经网络需要在一个固定的训练集上进行训练，而无法再适应拟合后来的数据，即便是采用了微调这样的技术，也会遭遇难以接受的灾难性遗忘问题，即适应了后来的数据却遗忘了之前的数据，这种方法既不适合数据持续增加的场景，也不具备一定的可解释性的缺点，本发明提供一种复述生成方法。

为了达到以上目的，本发明采用如下的技术方案：

本发明的第一方面，提供一种复述生成方法，包括

获取第一复述生成语料，对所述第一复述生成语料分词处理，得到输入词序列X_1和标签词序列Y_1，将所述输入词序列X_1和标签词序列Y_1作为预训练数据集来训练神经网络模型M；

获取第二复述生成语料，通过所述第二复述生成语料和神经网络模型M构建知识库，使第二复述生成语料中蕴含的复述生成知识以键值对的形式存在于知识库中，所述第二复述生成语料包含第一复述生成语料和具有时效性的增量复述生成语料；

获取第三复述生成语料，对所述第三复述生成语料分词处理，得到输入词序列X_3,将所述输入词序列X_3输入所述神经网络模型M进行预测，得到神经网络预测结果和查询向量；使用查询向量检索知识库，得到检索结果；融合所述神经网络预测结果和所述检索结果，生成最终的复述文本。

本发明的有益效果在于：

1.从技术层面来说，本发明在应用神经网络模型M生成的预测文本的基础上，增加了可插拔的知识库，不单纯依赖于神经网络的输出结果做预测，而以知识库作为辅助，由于知识库可以很方便地增加和减少知识，使得整个复述系统具备很强的可扩展性，同时知识库检索的结果可以作为最终的复述文本生成的依据，为系统增加了可解释性。