[发明专利]模型自适应训练方法、装置、设备、介质及程序产品在审
申请号: | 202110945461.6 | 申请日: | 2021-08-17 |
公开(公告)号: | CN113657501A | 公开(公告)日: | 2021-11-16 |
发明(设计)人: | 王小波;尹泽夏;林锋;张钧波 | 申请(专利权)人: | 京东城市(北京)数字科技有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/08;G06N3/04 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 宋兴;黄健 |
地址: | 100086 北京市海淀区知*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型 自适应 训练 方法 装置 设备 介质 程序 产品 | ||
本申请提供了一种模型自适应训练方法、装置、设备、介质及程序产品,通过获取原始模型在实际运行时的各个运行数据,并根据运行数据检测原始模型在实际运行时的第一概念漂移值;然后,根据价值模型以及第一概念漂移值,将各个运行数据分别分配到带标签数据集和/或无标签数据集中,当带标签数据集的数据量大于或等于预设阈值时,利用自适应训练模型,根据带标签数据集以及无标签数据集,对原始模型进行自适应训练,以确定训练后的新模型。解决了如何让AI模型能够在尽可能少的人为干预的情况下,进行自适应训练的技术问题。达到了减少开发人员更新模型时需要的人工标注量,且通过集成多个模型的方式提高模型的性能稳定性的技术效果。
技术领域
本申请涉及计算机数据处理领域,尤其涉及一种数模型自适应训练方法、装置、设备、介质及程序产品。
背景技术
目前,对于AI(Artificial Intelligence,人工智能)模型来说,一般是利用已有的历史数据进行训练后上线进行生产服务,对新的实际运行数据进行预测。
但是,随着时间的推移,由环境变化引起样本分布发生变化的现象是无法避免的,这种现象我们称为概念漂移。此时,AI模型的性能会逐渐降低。为此,我们需要定期使用最近的数据对AI模型进行重新训练,以对AI模型进行不断地更新,并实时监控模型表现,保证上线的AI模型性能稳定。
所以,对上线的AI模型的后期性能维护给算法工程师和运维人员带来了长期且繁重的工作量。因此,如何让AI模型能够在尽可能少的人为干预的情况下,进行自适应训练成为了亟待解决的技术问题。
发明内容
本申请提供一种模型自适应训练方法、装置、设备、介质及程序产品,解决了如何让AI模型能够在尽可能少的人为干预的情况下,进行自适应训练的技术问题。
第一个方面,本申请提供一种模型自适应训练方法,包括:
获取原始模型在实际运行时的各个运行数据,并根据运行数据检测原始模型在实际运行时的第一概念漂移值;
根据价值模型以及第一概念漂移值,将各个运行数据分别分配到带标签数据集和/或无标签数据集中;
判断带标签数据集的数据量是否大于或等于预设阈值;
若是,则利用自适应训练模型,根据带标签数据集以及无标签数据集,对原始模型进行自适应训练,以确定训练后的新模型,新模型的第二概念漂移值小于第一概念漂移值。
在一种可能的设计中,根据价值模型以及第一概念漂移值,将各个运行数据分别分配到带标签数据集和/或无标签数据集中,包括:
根据价值模型确定各个运行数据的综合价值;
根据第一概念漂移值以及综合价值,调整带标签数据集的数据积累速度;
根据数据积累速度以及综合价值,将各个运行数据分别分配到带标签数据集和/或无标签数据集中。
在一种可能的设计中,根据数据积累速度以及综合价值,将各个运行数据分别分配到带标签数据集和/或无标签数据集中,包括:
根据数据积累速度以及综合价值,从各个运行数据中筛选出待标注数据;
将待标注数据发送给用户端进行标注,以确定带标签数据,并将剩余的运行数据添加到无标签数据集中;
接收用户端返回的带标签数据,并将带标签数据添加到带标签数据集中。
在一种可能的设计中,根据第一概念漂移值以及综合价值,调整带标签数据集的数据积累速度,包括:
根据综合价值确定各个运行数据的排序序列;
当第一概念漂移值小于或等于预警门限值时,选取排序序列中前M位的运行数据作为待标注数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于京东城市(北京)数字科技有限公司,未经京东城市(北京)数字科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110945461.6/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种群文件垃圾过滤筛选方法
- 下一篇:数据交互方法、装置、系统和服务器