[发明专利]文本生成器训练方法和文本生成器训练系统

说明书

本发明提供一种文本生成器训练方法和文本生成器训练系统，其中方法包括：对隐层状态向量进行随机高斯初始化；读入所述隐层状态向量和起始字符，作为所述文本生成器的第一输入；通过多项式采样方法生成第一个字符，作为所述文本生成器的第一输出；将生成概率满足预设条件的字符作为所述文本生成器的下一输出，直至生成结束字符。本发明中，通过对隐层状态向量进行随机高斯初始化，可以有效避免文本生成器生成重复的文本，提高生成得到的样本的多样性。

技术领域

本发明涉及互联网技术领域，尤其涉及一种文本生成器训练方法和文本生成器训练系统。

背景技术

样本生成(Sample Generating)技术是指通过一定的技术手段从已有样本中发现其分布规律，并产生符合其分布的新样本的技术。在文本内容风控等特定场景下，需要从大量数据中发现作弊数据，以实现对作弊数据的识别。目前，通常采用人工抽取样本的方法从大量数据中筛选出作弊样本，既耗时又费力。

随着结合生成式对抗网络(Generative Adversarial Networks，GAN)和强化学习(Reinforcement Learning)的SeqGAN(Sequence Generative Adversarial Networks)的提出，SeqGAN可用于训练文本生成器。其中，在训练过程中采用GAN的思路，使用已有作弊样本训练一个文本生成器(Generator)，并使用这个文本生成器生成假的作弊样本，再利用真实的作弊样本以及假的作弊样本分别为正负样本训练一个判别器(Discriminator)；之后使用判别器指导生成器不断更新网络参数，以使得生成器生成的模型能够生成更加符合作弊样本分布的新样本；最后利用得到的生成器生成新的作弊样本以用于反作弊文本模型的训练。其中，在更新网络参数的过程中，将文本样本生成过程视为一个策略网络(即生成器网络)的决策过程，使用强化学习的策略梯度(Policy Gradient)的训练策略以解决文本类型离散数据不可导的问题，并在其中采用蒙特卡洛采样方法补全当前生成的序列，并将补全后的序列被判别器判断为真实样本的概率作为当前Step的Reward更新生成器网络，以逐步优化生成器的网络参数，生成更为逼真的样本。

在上述训练方法中，文本生成器在生成每个样本时采用同样的隐层状态(hiddenstate)参数，这些参数在训练过程中不断被更新，而在生成样本时保持不变，因此，对于同样的初始字符输入会生成同样的文本序列。而对于反作弊场景来说，采用文本生成器生成的作弊样本需要具有一定程度的多样性。因此，上述文本生成器的训练方法无法满足作弊样本多样性的需求。

发明内容

本发明实施例提供一种文本生成器训练方法和文本生成器训练系统，以解决现有文本生成器的训练方法无法满足作弊样本多样性需求的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种文本生成器训练方法，包括：

对隐层状态向量进行随机高斯初始化；

读入所述隐层状态向量和起始字符，作为所述文本生成器的第一输入；

通过多项式采样方法生成第一个字符，作为所述文本生成器的第一输出；

将生成概率满足预设条件的字符作为所述文本生成器的下一输出，直至生成结束字符。

第二方面，本发明实施例提供了一种文本生成器训练系统，包括：

隐层状态向量初始化模块，用于对隐层状态向量进行随机高斯初始化；

输入模块，用于读入所述隐层状态向量和起始字符，作为所述文本生成器的第一输入；

第一输出模块，用于通过多项式采样方法生成第一个字符，作为所述文本生成器的第一输出；