[发明专利]文本生成器训练方法和文本生成器训练系统在审
| 申请号： | 201910392908.4 | 申请日： | 2019-05-13 |
| 公开（公告）号： | CN110162751A | 公开（公告）日： | 2019-08-23 |
| 发明（设计）人： | 李嘉藩 | 申请（专利权）人： | 百度在线网络技术（北京）有限公司 |
| 主分类号： | G06F17/22 | 分类号： | G06F17/22;G06N3/04;G06N3/08 |
| 代理公司： | 北京银龙知识产权代理有限公司 11243 | 代理人： | 许静;黄灿 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 文本生成器 状态向量 隐层 训练系统 初始化 高斯 方法生成 起始字符 预设条件 输出 采样 读入 样本 多样性 文本 概率 重复 | ||
1.一种文本生成器训练方法，其特征在于，包括：
对隐层状态向量进行随机高斯初始化；
读入所述隐层状态向量和起始字符，作为所述文本生成器的第一输入；
通过多项式采样方法生成第一个字符，作为所述文本生成器的第一输出；
将生成概率满足预设条件的字符作为所述文本生成器的下一输出，直至生成结束字符。
2.根据权利要求1所述的方法，其特征在于，所述通过多项式采样方法生成第一个字符，包括：
通过所述隐层状态向量和所述起始字符，分别计算各字符的生成概率；
根据各字符的生成概率，对各字符进行随机采样，以得到所述第一个字符。
3.根据权利要求1或2所述的方法，其特征在于，所述将生成概率满足预设条件的字符作为所述文本生成器的下一输出，包括：
将生成概率最大的字符作为所述文本生成器的下一输出。
4.根据权利要求1或2所述的方法，其特征在于，在所述对隐层状态向量进行随机高斯初始化之前，所述方法还包括：
使用输入的第一样本对所述文本生成器进行预训练，以使所述文本生成器实现参数初始化。
5.根据权利要求4所述的方法，其特征在于，所述使用输入的第一样本对所述文本生成器进行预训练，包括：
将所述第一样本中每条文本的字符按预设规则移动，以得到第二样本；
将所述第二样本作为所述文本生成器的输出。
6.根据权利要求5所述的方法，其特征在于，所述将所述第一样本中每条文本的字符按预设规则移动，以得到第二样本，包括：
将所述第一样本中每条文本的字符按N个字符宽度右移或左移，以得到第二样本，所述N为正整数。
7.根据权利要求1或2所述的方法，其特征在于，所述文本生成器由长短期记忆网络LSTM神经元构成。
8.根据权利要求1或2所述的方法，其特征在于，所述文本生成器用于生成作弊样本。
9.一种文本生成器训练系统，其特征在于，包括：
隐层状态向量初始化模块，用于对隐层状态向量进行随机高斯初始化；
输入模块，用于读入所述隐层状态向量和起始字符，作为所述文本生成器的第一输入；
第一输出模块，用于通过多项式采样方法生成第一个字符，作为所述文本生成器的第一输出；
第二输出模块，将生成概率满足预设条件的字符作为所述文本生成器的下一输出，直至生成结束字符。
10.根据权利要求9所述的系统，其特征在于，所述第一输出模块具体用于：
通过所述隐层状态向量和所述起始字符，分别计算各字符的生成概率；
根据各字符的生成概率，对各字符进行随机采样，以得到所述第一个字符。
11.根据权利要求9或10所述的系统，其特征在于，所述第二输出模块具体用于：
将生成概率最大的字符作为所述文本生成器的下一输出，直至生成结束字符。
12.根据权利要求9或10所述的系统，其特征在于，还包括：
预训练模块，用于使用输入的第一样本对所述文本生成器进行预训练，以使所述文本生成器实现参数初始化。
13.根据权利要求12所述的系统，其特征在于，所述预训练模块具体用于：
将所述第一样本中每条文本的字符按预设规则移动，以得到第二样本；
将所述第二样本作为所述文本生成器的输出。
14.根据权利要求13所述的系统，其特征在于，所述预训练模块具体用于：
将所述第一样本中每条文本的字符按N个字符宽度右移或左移，以得到第二样本，所述N为正整数。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于百度在线网络技术（北京）有限公司，未经百度在线网络技术（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910392908.4/1.html，转载请声明来源钻瓜专利网。
