[发明专利]推荐模型训练方法、对象推荐方法、装置及存储介质有效
| 申请号: | 202111571317.7 | 申请日: | 2021-12-21 | 
| 公开(公告)号: | CN114461871B | 公开(公告)日: | 2023-03-28 | 
| 发明(设计)人: | 王龙甫;方美玲 | 申请(专利权)人: | 北京达佳互联信息技术有限公司 | 
| 主分类号: | G06F16/9035 | 分类号: | G06F16/9035;G06F16/906;G06N20/00 | 
| 代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 贾允 | 
| 地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 | 
| 权利要求书: | 查看更多 | 说明书: | 查看更多 | 
| 摘要: | |||
| 搜索关键词: | 推荐 模型 训练 方法 对象 装置 存储 介质 | ||
本公开关于一种推荐模型训练方法、对象推荐方法、装置及存储介质。该方法包括:获取多个第一样本训练数据、多个第二样本训练数据以及对应的标签信息,多个第二样本训练数据是基于多个第一样本训练数据与样本交互信息得到的;将多个第一样本训练数据输入第一模型,得到第一预测结果;将多个第二样本训练数据输入第二模型,得到第二预测结果;第二模型为预先训练的、满足预设收敛条件的预设机器学习模型;基于第一预测结果、第二预测结果和标签信息,训练第一模型和第二模型,直至第一模型满足预设条件,将满足预设条件的第一模型作为目标推荐模型。本公开提供的技术方案可以提升目标推荐模型的精度。
技术领域
本公开涉及互联网应用技术领域,尤其涉及一种推荐模型训练方法、对象推荐方法、装置及存储介质。
背景技术
近年来,深度学习技术在众多领域得到了广泛应用。同时,深度学习模型结构也变得越来越复杂,网络越来越深,模型参数数量越来越多,对系统性能挑战也越来越大。在推荐场景中,一般粗排模型的模型结构比精排模型的结构简单,但推荐精准度不如精排模型。为了均衡模型复杂度和推荐精度,一般使用蒸馏的方法,让粗排模型(学生模型)去学习精排模型(教师模型)的知识。
相关技术中,一般选择离线蒸馏,整个训练过程有两个阶段。首先,离线训练教师模型;然后利用教师模型指导学生模型学习。或者选择在线蒸馏,即教师模型和学生模型同时从零开始训练更新,整个学习过程是端到端的框架。前者导致学生模型只学习到教师模型最后一层输出信息,教师模型得到的知识有限,效果更差。后者由于教师模型还没训练充分,使得教师模型可能被学生模型带偏,且这样的教师模型用于指导学生模型也不准确。
发明内容
本公开提供一种推荐模型训练方法、对象推荐方法、装置及存储介质,本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种推荐模型训练方法,包括:
获取多个第一样本训练数据、多个第二样本训练数据以及对应的标签信息,所述多个第一样本训练数据是基于多个样本用户账号的样本用户关联信息和多个样本对象各自的样本对象关联信息得到的,所述多个第二样本训练数据是基于所述多个第一样本训练数据与样本交互信息得到的,所述样本交互信息为所述多个样本用户账号与所述多个样本对象的样本交互信息;
将所述多个第一样本训练数据输入第一模型,得到第一预测结果;
将所述多个第二样本训练数据输入第二模型,得到第二预测结果;所述第二模型为预先训练的、满足预设收敛条件的预设机器学习模型;
基于所述第一预测结果、所述第二预测结果和所述标签信息,训练所述第一模型和所述第二模型,直至第一模型满足预设条件,将满足预设条件的第一模型作为目标推荐模型。
在一种可能的实现方式中,所述获取多个第一样本训练数据、多个第二样本训练数据,包括:
获取多个样本用户账号各自的样本用户关联信息、多个样本对象各自的样本对象关联信息、以及所述多个样本用户账号与所述多个样本对象的样本交互信息;所述样本用户关联信息是基于所述样本用户账号的样本用户属性信息和样本历史行为信息得到的;
将多个样本用户关联信息与多个样本对象关联信息进行组合处理,得到所述多个第一样本训练数据;
基于所述多个第一样本训练数据以及对应的样本交互信息,得到第二样本训练数据。
在一种可能的实现方式中,所述基于所述第一预测结果、所述第二预测结果和所述标签信息,训练所述第一模型和所述第二模型,直至第一模型满足预设条件,将满足预设条件的第一模型作为目标推荐模型,包括:
根据所述第一预测结果和所述标签信息,确定第一损失信息;
根据所述第一预测结果和所述第二预测结果,确定第二损失信息;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111571317.7/2.html,转载请声明来源钻瓜专利网。





