[发明专利]联邦推荐模型训练方法以及系统有效
申请号: | 202210642466.6 | 申请日: | 2022-06-08 |
公开(公告)号: | CN114741611B | 公开(公告)日: | 2022-10-14 |
发明(设计)人: | 郑小林;葛阳;陈超超;李岩;谢鲁;张建勇;朱明杰 | 申请(专利权)人: | 杭州金智塔科技有限公司 |
主分类号: | G06F16/9535 | 分类号: | G06F16/9535;G06F21/60;G06F21/62 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 李琪 |
地址: | 310012 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 联邦 推荐 模型 训练 方法 以及 系统 | ||
1.一种联邦推荐模型训练方法,应用于中心服务器,包括:
响应于至少两个客户端的联邦推荐模型训练任务的处理请求,确定每个客户端的第一迭代次数,并将所述联邦推荐模型的初始化参数及所述第一迭代次数分别对应发送至所述每个客户端;
接收所述每个客户端加密上传的第一梯度信息及第一模型精度,其中,所述第一梯度信息及所述第一模型精度由每个客户端基于所述第一迭代次数及本地的用户属性信息、用户对对象的历史浏览、点击、收藏信息以及为用户进行对象推荐的历史推荐数据,对所述初始化参数进行迭代更新生成的更新结果确定;
根据所述第一梯度信息进行模型聚合,生成第一中间联邦推荐模型,将所述第一中间联邦推荐模型发送至所述每个客户端;
接收所述每个客户端加密上传的第二模型精度,其中,所述第二模型精度由所述每个客户端将本地的测试数据输入所述第一中间联邦推荐模型获得的输出结果确定,其中,所述测试数据包括用户属性信息、用户对对象的历史浏览、点击、收藏信息以及为用户进行对象推荐的历史推荐数据;
根据所述第一模型精度和所述第二模型精度,对所述第一中间联邦推荐模型的模型参数进行调整,生成第二中间联邦推荐模型;
根据所述第一模型精度及所述第二模型精度,确定所述每个客户端的第二迭代次数,并将所述第二迭代次数及所述第二中间联邦推荐模型的模型参数发送至所述每个客户端;
接收所述每个客户端加密上传的第二梯度信息及第三模型精度,其中,所述第二梯度信息及所述第三模型精度由每个客户端基于所述第二迭代次数及本地的用户属性信息、用户对对象的历史浏览、点击、收藏信息以及为用户进行对象推荐的历史推荐数据,对所述第二中间联邦推荐模型的模型参数进行迭代更新生成的更新结果确定;
根据所述第二梯度信息及所述第三模型精度确定所述联邦推荐模型的目标参数,以基于所述目标参数生成所述联邦推荐模型,其中,所述联邦推荐模型用于向用户进行对象推荐。
2.根据权利要求1所述的联邦推荐模型训练方法,还包括:
根据所述每个客户端的所述第一梯度信息,确定所述每个客户端的模型贡献度;
根据所述模型贡献度确定所述联邦推荐模型的目标参数。
3.根据权利要求2所述的联邦推荐模型训练方法,所述根据所述每个客户端的所述第一梯度信息,确定所述每个客户端的模型贡献度,包括:
将所述第一梯度信息进行加和平均,生成所述第一中间联邦推荐模型的第一目标梯度信息;
基于所述每个客户端的第一梯度信息在所述第一目标梯度信息的投影值,确定所述每个客户端的第一模型贡献度。
4.根据权利要求3所述的联邦推荐模型训练方法,所述基于所述每个客户端的第一梯度信息在所述第一目标梯度信息的投影值,确定所述每个客户端的第一模型贡献度,包括:
对所述每个客户端的第一梯度信息在所述第一目标梯度信息的投影值进行求和,生成第一计算结果;
确定目标客户端的投影值与所述第一计算结果的比值,并将所述比值确定为所述目标客户端的第一模型贡献度,其中,所述目标客户端为所述每个客户端之一。
5.根据权利要求3所述的联邦推荐模型训练方法,所述根据所述第一梯度信息进行模型聚合,生成第一中间联邦推荐模型,包括:
基于所述每个客户端的第一梯度信息以及所述第一模型贡献度,确定所述联邦推荐模型的第二目标梯度信息;
基于所述第二目标梯度信息对所述初始化参数进行更新,生成第一中间联邦推荐模型。
6.根据权利要求1所述的联邦推荐模型训练方法,所述根据所述第一模型精度和所述第二模型精度,对所述第一中间联邦推荐模型的模型参数进行调整,包括:
确定所述第二模型精度与所述第一模型精度的差值,生成所述每个客户端对应的模型精度变化值;
在所述模型精度变化值中确定满足预设条件的目标模型精度变化值;
基于所述目标模型精度变化值及所述每个客户端对应的模型精度变化值,确定所述每个客户端对应的第二模型贡献度;
根据所述第二模型贡献度对所述第一中间联邦推荐模型的模型参数进行调整。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州金智塔科技有限公司,未经杭州金智塔科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210642466.6/1.html,转载请声明来源钻瓜专利网。