[发明专利]一种实现模型训练的方法、计算机存储介质及终端在审
| 申请号: | 202310267384.2 | 申请日: | 2023-03-14 |
| 公开(公告)号: | CN116484943A | 公开(公告)日: | 2023-07-25 |
| 发明(设计)人: | 董颖;卞超轶 | 申请(专利权)人: | 北京启明星辰信息安全技术有限公司;启明星辰信息技术集团股份有限公司;北京网御星云信息技术有限公司 |
| 主分类号: | G06N3/096 | 分类号: | G06N3/096;G06N3/091;G06N3/045;G06N3/047;G06F21/57;H04L9/40 |
| 代理公司: | 北京安信方达知识产权代理有限公司 11262 | 代理人: | 张建秀;曲鹏 |
| 地址: | 100193 北京市海淀区东*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 实现 模型 训练 方法 计算机 存储 介质 终端 | ||
1.一种实现模型训练的方法,包括:
确定标记数据集和未标记数据集中包含的每一份数据的时间信息;
根据确定的时间信息,从标记数据集和未标记数据集中选出包含第一预设组数据的第一数据;
将预先训练获得的第一深度学习模型通过选出的第一数据进行训练,获得第二深度学习模型;
其中,所述第一数据为根据时间信息确定的早于预设时刻的数据;所述第一数据中的每一组数据包含所述标记数据集中的一份数据和所述未标记数据集中的一份数据。
2.根据权利要求1所述的方法,其特征在于,所述第一深度学习模型,包括通过以下方式训练获得的模型:
从所述标记数据集和所述未标记数据集中除所述第一数据以外的其他数据中,选出第二预设组数据作为第二数据;
根据选出的所述第二数据,迭代训练获得所述第一深度学习模型;
其中,所述迭代训练次数等于第二数据中的包含的数据组数;所述第二数据中的每一组数据包含所述标记数据集中的一份数据和所述未标记数据集中的一份数据。
3.根据权利要求1所述的方法,其特征在于,所述第一数据中包含的第一预设组数据中:
时间信息靠前的所述数据的组数大于或等于时间信息靠后的所述数据的组数。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述将预先训练获得的第一深度学习模型通过选出的第一数据进行训练,获得第二深度学习模型,包括:
将所述第一深度学习模型通过所述第一数据,按照预先设定的第一损失函数进行训练,获得所述第二深度学习模型;
其中,每一次迭代训练时,从所述第一数据中选出一组未被用于训练的数据进行训练。
5.根据权利要求4所述的方法,其特征在于,所述第一损失函数通过以下运算确定:
计算按照所述第一损失函数对所述第一深度学习模型进行第i次迭代训练时,该第一深度学习模型在当前用于训练的数据的组中已标记数据的预测结果,与所述当前用于训练的数据的组中已标记数据的真实标签的第一交叉熵;
计算按照所述第一损失函数对所述第一深度学习模型进行第i次迭代训练时,该第一深度学习模型关于所述当前用于训练的数据的组的第一预测类别概率分布,与在前一次迭代训练该第一深度学习模型在所述当前用于训练的数据的组上输出的第二预测类别概率分布的第二交叉熵;
按照预先设定的第一加权系数对计算出的所述第一交叉熵和所述第二交叉熵进行加权求和,获得所述第一损失函数;
其中,i为根据所述第一预设组数据执行第一预设次训练的训练次数排序。
6.根据权利要求2所述的方法,其特征在于,所述第一数据中仅包含一组数据,所述将预先训练获得的第一深度学习模型通过选出的第一数据进行训练,获得第二深度学习模型,包括:
将所述第一深度学习模型通过所述第一数据,按照预先设定的第二损失函数进行训练,获得所述第二深度学习模型。
7.根据权利要求6所述的方法,其特征在于,所述第二损失函数通过以下运算确定:
计算按照所述第二损失函数对所述第一深度学习模型进行训练,获得所述第二深度学习模型时,该第一深度学习模型关于所述第一数据的数据组中已标记数据的预测结果,与所述第一数据的数据组中已标记数据的真实标签的第三交叉熵;
计算按照所述第二损失函数对所述第一深度学习模型进行训练,获得所述第二深度学习模型时,该第二深度学习模型关于第一数据中已标记数据和未标记数据的第三预测类别概率分布,与第j次迭代训练的所述第一深度学习模型关于所述第一数据中已标记数据和未标记数据的第四预测类别概率分布的第四交叉熵;
按照预先设定的第二加权系数对计算出的所述第三交叉熵和所有所述第四交叉熵进行加权求和,获得所述第二损失函数;
其中,j为根据所述第一预设组数据执行第一预设次训练的训练次数排序。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京启明星辰信息安全技术有限公司;启明星辰信息技术集团股份有限公司;北京网御星云信息技术有限公司,未经北京启明星辰信息安全技术有限公司;启明星辰信息技术集团股份有限公司;北京网御星云信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310267384.2/1.html,转载请声明来源钻瓜专利网。





