[发明专利]基于联邦学习的模型参数训练方法及装置有效
| 申请号: | 201910498460.4 | 申请日: | 2019-06-10 |
| 公开(公告)号: | CN110288094B | 公开(公告)日: | 2020-12-18 |
| 发明(设计)人: | 刘洋;陈天健;杨强 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
| 主分类号: | G06N20/00 | 分类号: | G06N20/00 |
| 代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 黄志华 |
| 地址: | 518027 广东省深圳市*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 联邦 学习 模型 参数 训练 方法 装置 | ||
1.一种基于联邦学习的模型参数训练方法,其特征在于,所述方法包括:
第一终端接收第二终端发送第一加密映射模型,所述第一加密映射模型是所述第二终端在根据第一样本数据与第二样本数据的交集特征以及所述第二样本数据训练得到第一映射模型后,对所述第一映射模型采用第一秘密共享算法进行加密得到的,其中,所述第一样本数据为所述第一终端运行产生的数据,所述第二样本数据为第二终端运行产生的数据;
根据所述第一加密映射模型,对所述第一样本数据缺失的特征进行预测,获取第一加密补全样本数据,所述第一加密补全样本数据为所述第一样本数据相对于第二样本数据缺失的且经过加密处理的特征数据;
根据当前加密模型参数、所述第一样本和所述第一加密补全样本,训练联邦学习模型,并对所述联邦学习模型,采用预设损失值算法和预设梯度值算法,获取所述联邦学习模型的第一秘密共享损失值和第一秘密共享梯度值,所述第一秘密共享损失值用于表征所述联邦学习模型的收敛程度,所述第一秘密共享梯度值用于表征所述第一秘密共享损失值的变化趋势;
若根据所述第一秘密共享损失值,检测出所述联邦学习模型处于收敛状态,则根据所述第一秘密共享梯度值和所述当前加密模型参数,采用预设模型参数算法,获取所述第一秘密共享梯度值对应的更新后的第一秘密共享模型参数;
根据所述第一秘密共享模型参数和所述第二终端发送的第二秘密共享模型参数,获取所述联邦学习模型的目标模型参数,所述第二秘密共享模型参数为所述第二终端的联邦学习模型处于收敛状态时的秘密共享模型参数。
2.如权利要求1所述的方法,其特征在于,接收第二终端发送第一加密映射模型之前,所述方法还包括:
基于所述第一样本数据与所述第二样本数据的交集特征,对所述第一样本数据进行训练,得到第二映射模型;
采用第二秘密共享算法,对所述第二映射模型进行加密,获取第二加密映射模型;
向所述第二终端发送所述第二加密映射模型,以供所述第二终端根据所述第二加密映射模型对所述第二样本数据缺失的特征进行预测得到第二加密补全样本数据。
3.如权利要求2所述的方法,其特征在于,基于所述第一样本数据与所述第二样本数据的交集特征,训练所述第一样本数据,得到第二映射模型,包括:
采用预设映射训练算法,对所述交集特征和所述第一样本数据中的非交集特征进行训练,得到所述交集特征与所述第一样本数据中非交集特征间的第二映射模型。
4.如权利要求2所述的方法,其特征在于,当所述第二秘密共享模型参数为所述第二终端根据所述当前加密模型参数、所述第二样本数据和第二加密补全样本数据得到的第二秘密共享梯度值对应的模型参数时,
根据所述第一秘密共享模型参数和所述第二秘密共享模型参数,获取所述联邦学习模型的目标模型参数,包括:
根据所述第一秘密共享模型参数和所述第二秘密共享模型参数,获取非秘密共享的模型参数,所述非秘密共享的模型参数的维度与所述第一样本数据的维度不同;
根据所述第二映射模型,对所述非秘密共享的模型参数进行映射,获取所述联邦学习模型的目标模型参数,所述目标模型参数的维度与所述第一样本数据的维度相同。
5.如权利要求2所述的方法,其特征在于,当所述第二秘密共享模型参数为所述第二终端根据所述第一映射模型对第三秘密共享模型参数进行映射得到的模型参数时,其中,所述第三秘密共享模型参数为所述第二终端根据所述当前加密模型参数、所述第二样本数据和第二加密补全样本数据得到的第二秘密共享梯度值对应的模型参数,
根据所述第一秘密共享模型参数和所述第二秘密共享模型参数,获取所述联邦学习模型的目标模型参数,包括:
根据所述第二映射模型,对所述第一秘密共享模型参数进行映射,获取第四秘密共享模型参数,所述第四秘密共享模型参数的维度与所述第一样本数据的维度相同;
根据所述第四秘密共享模型参数和所述第二秘密共享模型参数,获取所述联邦学习模型的目标模型参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910498460.4/1.html,转载请声明来源钻瓜专利网。





