[发明专利]可控文本生成方法及装置

说明书

本发明提供一种可控文本生成方法及装置，该方法包括：将初始文本以及初始控制信号输入至目标可控文本生成模型中，得到目标可控文本生成模型输出的可控文本；目标可控文本生成模型通过如下方式训练得到：对样本数据进行特征抽取，确定样本数据的控制信号；基于样本数据以及样本数据的控制信号，对初始Transformer模型进行预训练，得到目标可控文本生成模型。本发明提供的可控文本生成方法及装置，通过在样本数据中抽取关键词、事件、风格等特征作为控制信号，产生大量伪数据，并通过预训练得到目标可控文本生成模型，通过目标可控文本生成模型可以实现根据输入的初始文本以及控制信号，生成满足控制信号并与初始文本顺畅衔接的文本。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种可控文本生成方法及装置。

背景技术

近年来以GPT-3为代表的大规模预训练模型表现出了优异的文本生成效果，例如，GPT-3能够生成让一般人难以分辨出是机器生成的新闻稿。这些预训练模型首先使用大量的文本数据进行自监督预训练，然后再用特定任务的有标注数据进行微调。

目前几乎所有的用于文本生成的大规模预训练模型在预训练阶段的自监督预训练任务都是语言模型，即根据上文预测下一个词语。这导致模型在进行文本生成时也只能根据前文的信息来生成后文，而且随着生成内容的变多，模型会越来越根据自己前面生成的文本(而不是在最一开始用户给的起始文本)来接着生成后面的文本，这会导致误差传递，模型生成的文本越来越与初始文本内容无关。而且即使模型完全根据给定的起始文本中来进行生成，也由于接收的信息量有限，自由发挥空间极大，很容易生成并不期望出现的文本内容。

发明内容

本发明提供一种可控文本生成方法及装置，用以解决现有技术中预训练模型生成的文本与初始文本内容无关的缺陷，实现根据用户给定的控制信号来生成高质量的文本。

本发明提供一种可控文本生成方法，包括：

将初始文本以及初始控制信号输入至目标可控文本生成模型中，得到所述目标可控文本生成模型输出的可控文本；

所述目标可控文本生成模型通过如下方式训练得到：

对样本数据进行特征抽取，确定所述样本数据的控制信号；

基于所述样本数据以及所述样本数据的控制信号，对初始Transformer模型进行预训练，得到所述目标可控文本生成模型。

在一些实施例中，所述对样本数据进行特征抽取，确定所述样本数据的控制信号，包括：

抽取所述样本数据的关键词特征、事件特征、知识图谱三元组特征、文本风格特征和句法结构特征；

基于抽取的特征中的至少一项，确定所述样本数据的控制信号。

在一些实施例中，所述抽取所述样本数据的关键词特征，包括：

基于TF-IDF、TextRank和KeyBERT方法，分别抽取所述样本数据的关键词；

基于所述关键词，确定关键词候选集；

基于所述样本数据中的词的数量，从所述关键词候选集中抽取第一数量个关键词；

将所述第一数量个关键词作为所述样本数据的关键词特征。

在一些实施例中，所述抽取所述样本数据的事件特征，包括：

对所述样本数据进行分句和语义标注，确定每个文本数据的语义结构；

将语义结构不完整的文本数据进行过滤；

基于所述样本数据中的句子的数量，从剩余语义结构中抽取第二数量个语义结构；

将所述第二数量个语义结构作为所述样本数据的事件特征。