[发明专利]联邦学习模型的处理方法、装置、电子设备和存储介质有效
| 申请号: | 202210464736.9 | 申请日: | 2022-04-29 | 
| 公开(公告)号: | CN114841370B | 公开(公告)日: | 2022-12-09 | 
| 发明(设计)人: | 王爽;李帜;郑灏;王帅 | 申请(专利权)人: | 杭州锘崴信息科技有限公司 | 
| 主分类号: | G06N20/00 | 分类号: | G06N20/00;G06K9/62 | 
| 代理公司: | 北京中创云知识产权代理事务所(普通合伙) 11837 | 代理人: | 肖佳 | 
| 地址: | 310053 浙江省杭州市滨*** | 国省代码: | 浙江;33 | 
| 权利要求书: | 查看更多 | 说明书: | 查看更多 | 
| 摘要: | |||
| 搜索关键词: | 联邦 学习 模型 处理 方法 装置 电子设备 存储 介质 | ||
1.一种联邦学习模型的处理方法,其特征在于,应用在服务端,所述方法包括:
确定与服务端连接进行联邦学习模型训练的计算节点,并确定不同计算节点的梯度数据之间的数据相关性,计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成;
依据所述数据相关性确定各计算节点的节点数据处理规则,并下发至对应的计算节点,所述节点数据处理规则包括信源编码矩阵和压缩率,以使所述计算节点依据本地的训练数据对联邦学习模型在本地的节点模型进行训练,形成第一梯度数据,并依据信源编码矩阵对第一梯度数据进行转换,形成第一转换数据,并依据压缩率对第一转换数据进行压缩,得到第一压缩数据;
接收计算节点上传的第一压缩数据,并依据计算节点的梯度数据之间的数据相关性,对各计算节点的第一压缩数据进行还原,形成还原数据;
依据所述还原数据对服务端的联邦学习模型进行调整,以确定训练好的联邦学习模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
依据服务端更新后的联邦学习模型,确定各计算节点的节点模型的本地梯度更新;
对服务端更新后的联邦学习模型进行压缩,形成第二压缩数据,并下发至对应的计算节点;
其中,所述第二压缩数据作为计算节点对节点模型调整的依据,以使得计算节点依据调整后的节点模型和本地的训练数据进行训练,更新所述第一梯度数据。
3.根据权利要求2所述的方法,其特征在于,所述依据计算节点的梯度数据之间的数据相关性,对各计算节点的第一压缩数据进行还原,形成还原数据,包括:
依据目标计算节点的信源编码矩阵和各计算节点的梯度数据之间的数据相关性对第一压缩数据进行数据还原,得到各计算节点的还原数据。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在目标计算节点的第一压缩数据还原失败时,发送扩增数据获取指令至目标计算节点,以使得所述目标计算节点依据扩增数据获取指令从第一转换数据中获取扩增压缩数据;
接收目标计算节点上传的扩增压缩数据,以更新第一压缩数据来完成目标计算节点的数据还原。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
确定联邦学习模型的数据量化规则,所述数据量化规则依据联邦学习模型的精度确定;
将数据量化规则添加到节点数据处理规则中,以使得所述计算节点依据数据量化规则对第一梯度数据进行量化处理,并依据量化处理后的第一梯度数据和信源编码矩阵确定第一转换数据。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述第一压缩数据对服务端中的联邦学习模型的梯度调整信息;
依据所述梯度调整信息,确定各计算节点的目标压缩率;
下发目标压缩率至目标计算节点,以更新目标计算节点中的压缩率。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
下发初始学习比例信息至计算节点,以使所述计算节点按照初始学习比例信息,从训练数据中截取第一数据;
服务端联合至少一个计算节点,采用第一数据对联邦学习模型进行联邦学习,得到初步训练的联邦学习模型作为所述服务端的联邦学习模型。
8.根据权利要求1所述的方法,其特征在于,所述确定不同计算节点的训练数据之间的数据相关性,包括:
下发相关关系分析指令至计算节点,以使得所述计算节点从训练数据中截取目标数据并进行加密,以形成加密数据;
获取计算节点上传的加密数据,并解密得到目标数据;
依据各计算节点的目标数据和联邦学习模型的模型信息进行相关性分析,确定不同计算节点的梯度数据之间数据相关性。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州锘崴信息科技有限公司,未经杭州锘崴信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210464736.9/1.html,转载请声明来源钻瓜专利网。





