[发明专利]时延数据的调整方法和装置、电子设备和存储介质有效
申请号: | 202110235536.1 | 申请日: | 2021-03-03 |
公开(公告)号: | CN112994981B | 公开(公告)日: | 2022-05-10 |
发明(设计)人: | 蔡怡蕾;郑悦;景艳山 | 申请(专利权)人: | 上海明略人工智能(集团)有限公司 |
主分类号: | H04L43/0852 | 分类号: | H04L43/0852;G06K9/62 |
代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 曾军;杜欣 |
地址: | 200030 上海市徐汇区*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 调整 方法 装置 电子设备 存储 介质 | ||
本申请提供了一种时延数据的调整方法和装置、电子设备和存储介质,其中,该方法包括:在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延,其中,训练参数为参与方训练数据聚合模型的参数;在多个差值中存在大于第一时延阈值的第一差值的情况下,根据网络时延确定多个参与方对应的待迭代次数,其中,多个差值中的每个差值是多个网络时延中两个网络时延之间的差值;根据待迭代次数,确定多个参与方传输训练参数至数据聚合模型的时延时间。通过本申请,解决了相关技术中存在的联邦学习的数据聚合模型训练效率较低的问题。
技术领域
本申请涉及数据处理领域,尤其涉及一种时延数据的调整方法和装置、电子设备和存储介质。
背景技术
人工智能的发展依赖于大量的优质数据,在企业中,除了少数大规模企业拥有大量数据外,更多的中小规模企业都存在数据量少、数据质量差等原因,不足以支撑人工智能技术的开发和实现。为了寻求更大的利益,多个公司或机构会以数据买卖或合作的方式将多方数据进行融合,从而训练出效果更优的人工智能模型。
但是由于各项数据安全法案的提出,这些中小规模企业无法直接寻求和外界的合作,数据往往以孤岛的形式分散在各个企业中,为了打破现有的数据孤岛的僵局,联邦学习技术应运而生。其中,联邦学习技术可以通过安全手段使各方参与者在不相互泄漏数据隐私的前提下,协同训练一个效果堪比数据聚合后训练的模型。该方法既保障了数据隐私安全,又实现了多方共赢。
但是现有的联邦学习技术也存在着一些问题,其中最为主要的就是数据传输的高时延低并发问题,即多个参与方的模型训练时长不等,传输时延各异,这就会导致负责模型聚合的第三方收到某些参与方的训练参数后,一直等待其余参与方的训练参数,会导致联邦学习的数据聚合模型训练效率较低。
发明内容
本申请提供了一种时延数据的调整方法和装置、电子设备和存储介质,以至少解决相关技术中存在联邦学习的数据聚合模型训练效率较低的问题。
根据本申请实施例的一个方面,提供了一种时延数据的调整方法,包括:在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延,其中,所述训练参数为所述参与方训练数据聚合模型的参数;在多个差值中存在大于第一时延阈值的第一差值的情况下,根据所述网络时延确定所述多个参与方对应的待迭代次数,其中,所述多个差值中的每个差值是所述多个网络时延中两个网络时延之间的差值;根据所述待迭代次数,确定所述多个参与方传输所述训练参数至所述数据聚合模型的时延时间。
根据本申请实施例的另一个方面,还提供了一种时延数据的调整装置,所述装置包括:第一获取单元,用于在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延,其中,所述训练参数为所述参与方训练数据聚合模型的参数;第一确定单元,用于在多个差值中存在大于第一时延阈值的第一差值的情况下,根据所述网络时延确定所述多个参与方对应的待迭代次数,其中,所述多个差值中的每个差值是所述多个网络时延中两个网络时延之间的差值;第二确定单元,用于根据所述待迭代次数,确定所述多个参与方传输所述训练参数至所述数据聚合模型的时延时间。
根据本申请实施例的又一个方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;其中,存储器,用于存储计算机程序;处理器,用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。
根据本申请实施例的又一个方面,还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海明略人工智能(集团)有限公司,未经上海明略人工智能(集团)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110235536.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于神经网络的机器人行走方法及装置
- 下一篇:一种流量控制减压智能马桶盖
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置