[发明专利]文本质检自动化训练方法、电子装置及计算机设备在审
申请号: | 201811589527.7 | 申请日: | 2018-12-25 |
公开(公告)号: | CN109740760A | 公开(公告)日: | 2019-05-10 |
发明(设计)人: | 任鹏飞;张雨嘉;谢宇峰;葛家荣 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00 |
代理公司: | 北京英特普罗知识产权代理有限公司 11015 | 代理人: | 林彦之 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 质检 电子装置 模型组合 自动化 文本 测试集 复检 计算机设备 测试数据 集成模型 模型训练 生产数据 业务要求 预测结果 训练集 验证集 准确率 感知 标注 测试 节约 投票 预测 | ||
1.一种文本质检自动化训练方法,应用于电子装置中,其特征在于,所述方法包括步骤:
取得默认周期内的生产数据;
将所述生产数据的一部分进行复检,以得到当日复检生产数据;
对所述当日复检生产数据执行数据清洗操作,以对所述生成数据进行标注;
对所述标注的生产数据执行数据划分操作,分成训练集、验证集与测试集并存储到所述电子装置中;
选择所述电子装置中的质检模型与所述测试集并进行预测,以获取所述测试集中之所述测试数据的预测结果;
分别选择准确率X与召回率Y较高的质检模型进行投票,并挑选出推荐模型组合;及
对所述推荐模型组合进行复检,且通过复检的质检模型则为最后确认集成模型,其中:
判断所述准确率X是否大于阈值A,当所述准确率X大于所述阈值A时,则降低学习率Z,当所述准确率X所述不大于所述阈值A时,接着判断所述召回率Y是否大于所述阈值B,当所述准确率X不大于所述阈值A且所述召回率Y阈值B,则降低所述学习率Z,及当所述准确率X不大于阈值A且召回率Y不大于阈值B,则所述学习率Z调回初始值。
2.如权利要求1所述的文本质检自动化训练方法,其特征在于,所述方法还包括步骤:
将所述标注的生产数据作为基础数据,所述基础数据包括一部分违规的生产数据和一部分不违规的生产数据;
选取一个训练周期内前三天的当日不违规数据和当日复检数据组成当日清洗后的数据,并与所述基础数据组成所述训练集;
选取一个训练周期内第四天的当日复检数据作为所述验证集;及
选取一个训练周期第五天的当日清洗后的数据作为所述测试集。
3.如权利要求1所述的文本质检自动化训练方法,其特征在于,所述方法还包括步骤:
利用预设数量的质检模型对每日的未经人工复检的生产数据进行预测,挑选出所述预设数量的模型都不认为违规的生产数据作为当日不违规数据,剩余的则为当日违规数据。
4.如权利要求1所述的文本质检自动化训练方法,其特征在于,所述测试数据的预测结果包括各个质检点及总的准确率与召回率。
5.如权利要求1所述的文本质检自动化训练方法,其特征在于,所述方法还包括步骤:
根据所述测试数据的预测结果分别对所述质检模型进行准确率和召回率的排序,分别取所有质检模型中一定数量之准确率和召回率比较高的质检模型,用以根据集成方法进行多模型组合挑选,以取得所述推荐模型组合。
6.一种电子装置,其特征在于,包括:
存储模块,存储多个质检模型;
主控模块,用于取得默认周期内的生产数据,将所述生产数据的一部分进行复检,以得到当日复检生产数据,对所述当日复检生产数据执行数据清洗操作,以对所述生成数据进行标注,对所述标注的生产数据执行数据划分操作,分成训练集、验证集与测试集并存储到所述存储模块中,选择所述存储模块中的所述质检模型与所述测试集并进行预测,以获取所述测试集中之所述测试数据的预测结果,分别选择准确率与召回率较高的质检模型进行投票,并挑选出推荐模型组合,及对所述推荐模型组合进行复检,且通过复检的质检模型则为最后确认集成模型;及
工作模块,用于判断所述准确率X是否大于阈值A,当所述准确率X大于所述阈值A时,则降低学习率Z,当所述准确率X所述不大于所述阈值A时,接着判断所述召回率Y是否大于所述阈值B,当所述准确率X不大于所述阈值A且所述召回率Y大于所述阈值B,则降低所述学习率Z,及当所述准确率X不大于阈值A且召回率Y不大于阈值B,则学习率学习率Z调回初始值。
7.如权利要求6所述的电子装置,其特征在于,还包括:
将所述标注的生产数据作为基础数据,所述基础数据包括一部分违规的生产数据和一部分不违规的生产数据;
所述主控模块选取一个训练周期内前三天的当日不违规数据和当日复检数据组成当日清洗后的数据,并与所述基础数据组成所述训练集,选取一个训练周期内第四天的当日复检数据作为所述验证集,及通过所述主控模块选取一个训练周期第五天的当日清洗后的数据作为所述测试集。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811589527.7/1.html,转载请声明来源钻瓜专利网。