[发明专利]基于对抗学习的文本分类模型训练和文本分类方法及装置有效
申请号: | 202110322493.0 | 申请日: | 2021-03-25 |
公开(公告)号: | CN112966112B | 公开(公告)日: | 2023-08-08 |
发明(设计)人: | 郑行;邹泊滔;严淮;王鑫云;吴潇丽;汤深;孙清清;张天翼 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06N3/094 | 分类号: | G06N3/094;G06N3/09;G06N3/0475;G06F16/35 |
代理公司: | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人: | 陈霁;周良玉 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 对抗 学习 文本 分类 模型 训练 方法 装置 | ||
1.一种文本分类模型的训练方法,所述文本分类模型包括文本分类网络、对抗文本生成网络,所述方法包括:
将第一文本样本输入基于强化学习模型的对抗文本生成网络,通过多步动作获得第一对抗文本;
根据第一对抗文本与第一文本样本,确定文本差异损失;
分别将所述第一对抗文本与第一文本样本输入所述文本分类网络,从所述文本分类网络分别对上述两个文本进行分类判别的角度,确定第一对抗文本与第一文本样本的判别差异损失;
根据文本差异损失、所述判别差异损失,确定多步动作的奖励分数,所述奖励分数与所述文本差异损失负相关、与所述判别差异正相关;以多步动作的预期累积的奖励分数趋于变大为目标,更新所述对抗文本生成网络;
将第二文本样本输入经过训练的所述对抗文本生成网络,生成第二对抗文本;
将所述第二文本样本和所述第二对抗文本,输入文本分类网络,得到第二文本样本和第二对抗文本分别对应的分类结果,以所述第二文本样本和第二对抗文本分别对应的分类结果趋同于所述第二文本样本的分类标签为目标,更新所述文本分类网络。
2.根据权利要求1所述的方法,还包括,在确定所述第一对抗文本与第一文本样本对于所述文本分类网络的判别差异损失之前,对于所述文本分类网络进行预训练。
3.根据权利要求2所述的方法,其中,对于所述文本分类网络进行预训练,包括,基于第四文本样本和/或所述第一文本样本,对于所述文本分类网络进行预训练。
4.根据权利要求1所述的方法,其中,所述文本分类网络基于文本卷积网络TextCnn、长短期记忆网络LSTM中的一种。
5.根据权利要求1所述的方法,其中,根据第一对抗文本与第一文本样本,确定文本差异损失,包括,根据所述第一对抗文本与第一文本样本的文本编辑距离,确定文本差异损失。
6.根据权利要求1所述的方法,其中,所述确定所述第一对抗文本与第一文本样本的判别差异损失,包括:
分别获取所述第一对抗文本对应的文本分类网络的第一梯度,以及所述第一文本样本对应的文本分类网络的第二梯度;
根据第一梯度和第二梯度,确定所述第一对抗文本与第一文本样本对于文本分类模型的判别差异损失。
7.根据权利要求1所述的方法,其中,所述确定所述第一对抗文本与第一文本样本的判别差异损失,包括:
获取所述第一对抗文本与第一文本样本分别对应的分类结果;
根据所述第一对抗文本与第一文本样本分别对应的分类结果,确定所述第一对抗文本与第一文本样本对于文本分类模型的判别差异损失。
8.根据权利要求7所述的方法,其中,所述分类结果为离散性结果或连续性结果。
9.根据权利要求1所述的方法,其中,将所述第二文本样本和所述第二对抗文本,输入文本分类网络,得到第二文本样本和第二对抗文本分别对应的分类结果,以所述第二文本样本和第二对抗文本分别对应的分类结果趋同于所述第二文本样本的分类标签为目标,更新所述文本分类网络,包括:
根据所述第二文本样本进行重采样,获取N1个第三文本样本;
根据所述第二对抗文本进行重采样,获取N2个第三对抗文本;所述N1与N2的比值为预先确定的;
将所述N1个第三文本样本、以及N2个第三对抗文本输入文本分类网络,得到所述N1个第三文本样本、以及N2个第三对抗文本分别对应的分类结果,以所述N1个第三文本样本、以及N2个第三对抗文本分别对应的分类结果趋同于所述第二文本样本的分类标签为目标,更新所述文本分类网络。
10.一种文本分类方法,所述方法包括:
将待测文本输入根据权利要求1的方法训练好的文本分类模型中的文本分类网络;
将所述文本分类网络的输出结果作为待测文本的分类结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110322493.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种图像处理的方法、电子设备及存储介质
- 下一篇:出冰结构及具有其的制冰机