[发明专利]一种模型训练上线方法、装置、存储介质和设备在审
| 申请号: | 202111175935.X | 申请日: | 2021-10-09 |
| 公开(公告)号: | CN113919506A | 公开(公告)日: | 2022-01-11 |
| 发明(设计)人: | 王阳阳;吴良庆 | 申请(专利权)人: | 京东科技信息技术有限公司 |
| 主分类号: | G06N20/00 | 分类号: | G06N20/00;G06F9/50;G06F11/36 |
| 代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 钱娜 |
| 地址: | 100000 北京市大兴区北京经*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 模型 训练 上线 方法 装置 存储 介质 设备 | ||
1.一种模型训练上线方法,其特征在于,包括:
在接收到用户输入的测试版本号的情况下,将与所述测试版本号对应的待上线模型,标识为测试模型,以及将所述测试模型的评估值,标识为测试评估值;所述待上线模型,以及所述待上线模型的评估值,均通过对待训练模型进行训练所得到;
在所述测试评估值大于目标评估值、且接收到用户的测试指令的情况下,启动预设的算法服务对所述测试模型和所述当前上线的模型进行AB测试,得到所述测试模型的测试成绩,以及所述当前上线的模型的测试成绩;所述目标评估值基于利用测试集对当前上线的模型进行训练所得到;
在所述测试模型的测试成绩,高于所述当前上线的模型的测试成绩的情况下,对所述当前上线的模型进行内存释放,并将所述测试模型的状态更新为上线。
2.根据权利要求1所述的方法,其特征在于,所述待上线模型,以及所述待上线模型的评估值,均通过对待训练模型进行训练所得到,包括:
基于待训练模型的类型和参数,创建所述待训练模型的训练任务,并将所述待训练模型的训练语料存储至云端;
将所述训练任务发送给离线图形处理器,触发所述离线图形处理器从所述云端获取所述训练语料,并根据待所述类型、所述参数和所述训练语料,对所述待训练模型进行训练,得到待上线模型,以及所述待上线模型的评估值;所述评估值基于利用测试集对所述待上线模型进行训练所得到;
为所述待上线模型设置状态标签以及版本号,并将所述待上线模型的信息存储至预设的模型表中。
3.根据权利要求2所述的方法,其特征在于,所述基于待训练模型的类型和参数,创建所述待训练模型的训练任务,包括:
获取待训练模型的类型、参数和训练语料;
为所述待训练模型设置状态标签,并将所述待训练模型的训练语料存储至云端;
将所述待训练模型的类型、参数和状态标签,存储至数据库中;
在接收到离线图形处理器发送的访问请求的情况下,基于所述待训练模型的类型和参数,创建所述待训练模型的训练任务,并将所述待训练模型的状态更新为训练中。
4.根据权利要求2所述的方法,其特征在于,所述为所述待上线模型设置状态标签以及版本号,并将所述待上线模型的信息存储至预设的模型表中,包括:
在接收到所述离线图形处理器发送的所述待上线模型以及所述评估值的情况下,为所述待上线模型设置版本号;
将所述待上线模型以及所述评估值存储至数据库中,并将所述待训练模型的状态更新为训练完成;
为所述待上线模型设置状态标签,并将所述待上线模型的信息存储至预设的模型表中;
将所述待上线模型存储至云端,并通过预设前端界面,向用户展示所述待上线模型以及所述评估值。
5.根据权利要求2所述的方法,其特征在于,所述在接收到用户输入的测试版本号的情况下,将与所述测试版本号对应的待上线模型,标识为测试模型,以及将所述测试模型的评估值,标识为测试评估值,包括:
预先将所述离线图形处理器发送的所述待上线模型、所述待上线模型的评估值,存储至数据库中;
在接收到用户输入的测试版本号的情况下,从所述数据库中选取与所述测试版本号对应的待上线模型,标识为测试模型,并将所述测试模型的评估值,标识为测试评估值;
将所述测试模型的状态更新为待测试。
6.根据权利要求1所述的方法,其特征在于,所述在所述测试评估值大于目标评估值、且接收到用户的测试指令的情况下,启动预设的算法服务对所述测试模型和所述当前上线的模型进行AB测试,得到所述测试模型的测试成绩,以及所述当前上线的模型的测试成绩,包括:
将所述测试评估值与目标评估值进行比较;
在所述测试评估值大于所述目标评估值的情况下,判断当前上线的模型是否为所述测试模型;
若所述当前上线的模型为所述测试模型,则提示用户所述测试模型处于上线状态,并将所述测试模型的状态更新为上线;
若所述当前上线的模型不为所述测试模型,则在接收到所述用户的测试指令的情况下,启动预设的算法服务对所述测试模型和所述当前上线的模型进行AB测试,得到所述测试模型的测试成绩,以及所述当前上线的模型的测试成绩。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于京东科技信息技术有限公司,未经京东科技信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111175935.X/1.html,转载请声明来源钻瓜专利网。





