[发明专利]一种基于骨架的二阶段数据到文本生成方法

说明书

本发明涉及一种基于骨架的二阶段数据到文本生成方法，属于人工智能与自然语言生成技术领域。所述方法将数据到文本生成划分为骨架构建和文本生成两个阶段。首先，本方法提出一种基于结构化Transformer的骨架构建模型SCST来构建数据的文本骨架；然后，将文本骨架嵌入到本方法提出的基于骨架的非自回归文本生成模型SNAM中，利用插入与删除操作逐步生成文本。该方法能较好地发掘人物传记类新闻之间的知识关联，在BLEU及ROUGE指标上显著优于传统模型。

技术领域

本发明涉及一种数据到文本生成方法，具体涉及一种基于骨架的二阶段数据到文本生成方法，属于人工智能与自然语言生成技术领域。

背景技术

随着人工智能的不断发展，人们开始寄希望于机器能够具备像人一样的写作能力，从而辅助人类进行写作甚至替代人类写作，进一步提高数据到文本的转换速度。机器智能写作的核心是自然语言生成技术，而数据到文本生成是自然语言生成领域的典型技术，是实现机器自动写作的关键技术之一。数据到文本生成指的是基于结构化数据生成一段恰当而流畅的描述性文本，它在天气预报、体育新闻报道、人物传记生成等场景上都有着重要的应用价值。

数据到文本生成一般可归结内容选择(Content Selection)和表层实现(SurfaceRealization)两个任务，内容选择指的是从输入中选择合适的内容进行表达，表层实现指的是使用合适的文本来描述所选择的内容。最早期的方法依赖于领域专家的知识，通过制定多条规则来实现上述任务，然而这种方法十分的费时费力，而且在一个领域中制定的规则难以直接应用在其它领域，因此它的泛化能力较差。

随着深度学习技术的发展，基于深度学习的数据到文本生成方法成为了目前研究的重点。Lebret等人在2016年发布了新的人物传记数据集WikiBio，并提出一个基于神经语言模型的方法，该方法配备了拷贝机制，在生成时可以直接从输入数据拷贝相应文本，论文中的实验结果表明基于神经语言模型的方法要远胜于基于统计语言模型的方法。Mei等人在2016年提出了一个基于长短时记忆网络的自回归模型，其中加入了一个粗粒度到细粒度的对齐器(Aligner)，用于识别输入里比较重要的数据库条目，解码器基于这些条目逐步生成文本，该方法在天气预报生成上取得了令人惊艳的效果。Liu等人在2018年提出了结构化的生成模型，在编码时将属性名信息嵌入到LSTM的细胞状态中(Cell State)，使得属性名信息可以直接影响属性值的编码过程，并在解码时引入对偶注意力机制整合属性名和属性值信息，该模型在WikiBio数据集上取得了突出的成果。

上述的数据到文本生成方法主要使用序列到序列的自回归模型，虽然这些方法可以为结构化数据生成较为流畅的文本，但它们仍然存在着两个方面的问题：第一，缺乏对文本的规划，生成的文本中常常会遗漏一些输入数据里的关键信息。第二，自回归模型容易产生“幻觉”，生成不符合输入数据的文本。本发明的目的是致力于解决上述数据到文本生成方法的技术缺陷，提出一种基于骨架的二阶段数据到文本生成方法。

发明内容

本发明的目的是为了解决现有的基于自回归模型的数据到文本生成方法对文本规划不足以及容易产生“幻觉”问题，提出一种基于骨架的二阶段数据到文本生成方法，将数据到文本生成分为骨架构建与文本生成两个阶段，骨架构建阶段由一种基于结构化Transformer的骨架构建模型实现，文本生成阶段由一种基于骨架的非自回归文本生成模型实现。

本发明采用的技术实现方案如下：

(1)在骨架构建阶段，提出一种基于结构化transformer的骨架构建模型，该模型利用输入数据间的结构信息构造文本的骨架；

(2)在文本生成阶段，提出一种基于骨架的非自回归文本生成模型，该模型利用骨架信息，生成逻辑性强且信息丰富的文本；

所述基于骨架的二阶段数据到文本生成方法，包括以下步骤：

步骤1，基于无骨架数据集构建骨架数据集，并对其进行划分，生成骨架训练集和骨架测试集，具体为：