[发明专利]基于联邦学习的模型训练方法、电子设备及存储介质在审
申请号: | 202310049181.6 | 申请日: | 2023-02-01 |
公开(公告)号: | CN116304675A | 公开(公告)日: | 2023-06-23 |
发明(设计)人: | 王光宇;杨宇宁;张平;刘晓鸿 | 申请(专利权)人: | 北京邮电大学 |
主分类号: | G06F18/214 | 分类号: | G06F18/214 |
代理公司: | 北京风雅颂专利代理有限公司 11403 | 代理人: | 金含 |
地址: | 100876 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 联邦 学习 模型 训练 方法 电子设备 存储 介质 | ||
1.一种基于联邦学习的模型训练方法,应用于本地客户端,其特征在于,包括:
响应于一轮训练开始,获取初始本地模型以及初始全局模型,其中,所述初始本地模型为上一轮训练中更新完成后的本地模型,所述初始全局模型为上一轮训练中中心服务器返回的全局模型;
利用本地数据集、所述初始本地模型以及所述初始全局模型,并基于对比学习更新所述初始本地模型,得到更新完成后的本地模型;
将更新完成后的所述本地模型的本地模型参数发送至中心服务器;
接收所述中心服务器根据所述本地模型返回的全局模型,所述一轮训练结束。
2.根据权利要求1所述的方法,其特征在于,所述利用本地数据集、所述初始本地模型以及所述初始全局模型,并基于对比学习训练所述初始本地模型,得到更新完成后的本地模型,进一步包括:
执行迭代过程,其中,所述迭代过程包括:
将所述本地数据集中的数据输入至第一模型、第二模型以及第三模型,得到多个第一特征、多个第二特征以及多个第三特征,其中,所述第一模型为所述初始本地模型,所述第二模型为所述初始全局模型,所述第三模型仅在每一轮训练的第一轮更新时为所述初始本地模型;
利用所述第一特征、所述第二特征以及所述第三特征计算对比损失;
利用所述对比损失更新所述第三模型的模型参数;
响应于所述第三模型的模型参数达到第一更新目标,停止所述迭代过程,并将所述第三模型作为更新完成后的所述本地模型。
3.根据权利要求2所述的方法,其特征在于,所述第一模型、所述第二模型以及所述第三模型均包括主干网络、特征融合层以及检测头部网络;
所述利用所述第一特征、所述第二特征以及所述第三特征计算对比损失,进一步包括:
利用下式计算所述对比损失:
其中,Lb为主干网络对比损失,Ln为特征融合层对比损失,Lh为检测头部网络对比损失,以及依次为数据输入所述第一模型的主干网络、特征融合层以及检测头部网络所得到的特征,以及依次为数据输入所述第二模型的主干网络、特征融合层以及检测头部网络所得到的特征,以及依次为数据输入所述第三模型的主干网络、特征融合层以及检测头部网络所得到的特征,sim(·)为余弦相似度函数,τ为温度参数。
4.根据权利要求3所述的方法,其特征在于,所述利用所述对比损失更新所述第三模型的模型参数,进一步包括:
将所述第三模型的模型参数更新为:
其中,wl为所述第三模型的模型参数,η为模型学习率,L为所述模型总损失,L=Lsup+μ1Lb+μ2Ln+μ3Lh,Lsup为所述第三模型的自监督损失,Lb为所述主干网络对比损失,Ln为所述特征融合层对比损失,Lh为所述检测头部网络对比损失,μ1、μ2、μ3为权重,为模型总损失的梯度。
5.根据权利要求4所述的方法,其特征在于,所述第一更新目标为:
其中,wl为所述第三模型的模型参数,Li为经验损失,为经验损失函数,L为所述模型总损失,(x,y)~Di为所述本地数据集中的数据。
6.根据权利要求1所述的方法,其特征在于,所述将更新完成后的所述本地模型的本地模型参数发送至中心服务器,进一步包括:
计算更新完成后的所述本地模型的经验损失,并将所述经验损失发送至所述中心服务器。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310049181.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种风电变桨用电动机的防震装置
- 下一篇:污泥低温干化机精准控风方法