[发明专利]数据处理方法、模型构建方法、分类方法及计算设备有效
| 申请号: | 202110866035.3 | 申请日: | 2021-07-29 |
| 公开(公告)号: | CN113312445B | 公开(公告)日: | 2022-02-11 |
| 发明(设计)人: | 汪诚愚 | 申请(专利权)人: | 阿里云计算有限公司 |
| 主分类号: | G06F16/31 | 分类号: | G06F16/31;G06F16/332;G06F16/33;G06F16/35;G06K9/62 |
| 代理公司: | 北京太合九思知识产权代理有限公司 11610 | 代理人: | 刘戈;曹威 |
| 地址: | 310012 浙江省*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据处理 方法 模型 构建 分类 计算 设备 | ||
1.一种数据处理方法,其特征在于,包括:
针对每个新增分类任务,在文本分类模型中构建所述新增分类任务唯一对应的输出模块;其中,所述文本分类模型中包括输入模块、中间模块以及输出模块;不同分类任务共用所述输入模块以及所述中间模块;
将所述新增分类任务当前训练批次的第一训练样本输入所述文本分类模型,利用所述文本分类模型提取所述第一训练样本的第一样本特征;
将所述第一训练样本的类别标签作为所述输出模块的输出数据,并结合所述第一训练样本的第一样本特征及第一存储信息中不同类别的文本特征,训练所述文本分类模型;
利用训练之后的所述文本分类模型提取所述第一训练样本的第二样本特征,并基于所述第一训练样本的第二样本特征更新所述第一存储信息;
针对所述新增分类任务的训练结束时,将所述第一存储信息中所述新增分类任务涉及类别的文本特征,构成所述新增分类任务对应的第二存储信息;
针对属于所述新增分类任务的待分类文本,利用所述文本分类模型执行对所述待分类文本的分类操作;其中,所述第二存储信息中不同类别的文本特征用于参与利用所述文本分类模型对属于所述新增分类任务的所述待分类文本的分类操作。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一训练样本的类别标签作为所述输出模块的输出数据,并结合所述第一训练样本的第一样本特征以及第一存储信息中不同类别的文本特征,训练所述文本分类模型包括:
将所述第一训练样本的第一样本特征分别与第一存储信息中不同类别的文本特征进行融合,获得第一融合特征;
将所述第一融合特征作为所述新增分类任务的输出模块的输入数据,以及将所述第一训练样本的类别标签作为所述新增分类任务的输出模块的输出数据,训练所述文本分类模型。
3.根据权利要求1所述的方法,其特征在于,所述文本分类模型包括至少一个原分类任务分别对应的输出模块;
所述文本分类模型针对所述至少一个原分类任务按照如下方式预先训练获得:
利用所述文本分类模型提取所述至少一个原分类任务对应的第二训练样本的第一样本特征;
计算属于同一个类别的第二训练样本的平均第一样本特征,作为该类别的文本特征,并将计算获得的不同类别的文本特征构成第一存储信息;
将所述第二训练样本对应的类别标签作为其对应输出模块的输出数据,并结合所述第二训练样本的第一样本特征以及所述第一存储信息,训练所述文本分类模型;
针对所述至少一个原分类任务训练结束时,将所述第一存储信息中所述至少一个原分类任务各自涉及类别的文本特征,构成所述至少一个原分类任务各自对应的第二存储信息,或者,针对所述至少一个原分类任务训练结束时,抽取所述第一存储信息中不同类别的文本特征,构成所述至少一个原分类任务对应的第二存储信息。
4.根据权利要求3所述的方法,其特征在于,所述将所述第二训练样本对应的类别标签作为其对应输出模块的输出数据,并结合所述第二训练样本的第一样本特征以及所述第一存储信息,训练所述文本分类模型包括:
将当前训练批次的第二训练样本的第一样本特征与第一存储信息中不同类别的文本特征进行融合,获得第二融合特征;
将所述第二融合特征输入对应的输出模块,以及将所述第二训练样本的类别标签作为对应输出模块的输出数据,训练所述文本分类模型;
利用训练之后的所述文本分类模型提取所述第二训练样本的第二样本特征,并基于所述第二训练样本的第二样本特征,更新所述第一存储信息中相应类别的文本特征。
5.根据权利要求1所述的方法,其特征在于,所述基于所述第一训练样本的第二样本特征更新所述第一存储信息包括:
基于所述第一训练样本的第二样本特征,计算属于同一类别的第一训练样本的平均第二样本特征;
将属于同一类别的平均第二样本特征与第一存储信息中的文本特征进行加权求和,并利用加权求和结果替换所述第一存储信息中对应类别的文本特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里云计算有限公司,未经阿里云计算有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110866035.3/1.html,转载请声明来源钻瓜专利网。





