[发明专利]建立文本生成模型的方法、装置、介质和计算设备

权利要求书

1.一种建立文本生成模型的方法，包括：

将基于真实数据采样生成的至少一个训练样本输入鉴别器，以得到所述训练样本的奖励分数；

基于所述训练样本及其奖励分数训练生成器；

其中，基于所述真实数据采样生成训练样本，包括：

基于所述真实数据构建静态分布并从中获取训练样本，其中，训练样本包括从所述静态分布中获得的多个以真实数据样本为基础生成的新样本；

其中，所述新样本由以下步骤获得：

获取一个真实数据文本；

从所述真实数据文本中选取至少一个可替换词/字；

确定替换每一个可替换词/字的候选替换词/字；

采用候选替换词/字替换所述真实数据文本中相应位置的可替换词/字，以生成所述新样本；其中，根据所述真实数据文本与待生成新样本之间的编辑距离确定所述真实数据文本中的可替换的位置；所述编辑距离基于所述真实数据文本的长度确定。

2.如权利要求1所述的方法，其中，基于真实数据以及生成器生成的数据以为真实数据分配更高的奖励分数为目标训练所述鉴别器。

3.如权利要求1所述的方法，其中，基于每一个可替换位置的上下文确定候选替换词/字。

4.如权利要求1所述的方法，其中，从词汇表中进行采样以替换相应的可替换词/字。

5.如权利要求4所述的方法，其中，采样的策略至少包括随机采样和约束采样中的一个。

6.如权利要求1所述的方法，其中，采用含奖励的最大似然的方法基于所述训练样本及其奖励分数训练生成器。

7.如权利要求6所述的方法，其中，采用强化学习的理论从现有的生成式对抗网络中导出所述生成器的训练目标。

8.如权利要求7所述的方法，其中，所述生成器的训练目标被配置为生成能够获得更高奖励分数且多样化的文本。

9.如权利要求8所述的方法，其中，引入指数收益分布来连接训练所述生成器时强化学习的目标函数与含奖励的最大似然方法的目标函数。

10.如权利要求9所述的方法，其中，通过重要性采样将鉴别器输出奖励分数的过程从所述指数收益分布采样的过程中分离。

11.如权利要求6-10任一所述的方法，其中，基于所述训练样本及其奖励分数训练生成器，包括：

基于所述静态分布以及鉴别器输出的奖励分数设计奖励函数；

基于所述训练样本以及根据所述奖励函数得到的奖励训练所述生成器。

12.如权利要求11所述的方法，其中，所述奖励函数被设计为鼓励所述生成器生成采样概率高且能够获得鉴别器的高奖励分数的文本。

13.如权利要求1所述的方法，其中，所述真实数据为对话文本数据。