[发明专利]一种联邦学习调度方法、装置及系统在审
申请号: | 202011405422.9 | 申请日: | 2020-12-04 |
公开(公告)号: | CN112508205A | 公开(公告)日: | 2021-03-16 |
发明(设计)人: | 史国梅;栗力;陈文艳;须成忠 | 申请(专利权)人: | 中国科学院深圳先进技术研究院 |
主分类号: | G06N20/20 | 分类号: | G06N20/20;G06K9/62 |
代理公司: | 深圳市科进知识产权代理事务所(普通合伙) 44316 | 代理人: | 魏毅宏 |
地址: | 518055 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 联邦 学习 调度 方法 装置 系统 | ||
本申请实施例属于信息技术领域,涉及一种联邦学习调度方法,包括服务器接收客户端发送的联邦学习训练请求;服务器响应联邦学习训练请求,将当前全局模型的模型数据发送至客户端进行训练;服务器调度客户端的历史训练记录,得到客户端的历史训练时间;服务器基于历史训练时间计算时间窗口的预备值;当服务器接收到客户端发送的训练报告时,基于预备值设置训练时间窗口;服务端基于在训练时间窗口内接收到的所有客户端发送的训练报告中的数据进行模型聚合操作,得到新的全局模型。本申请还提供一种联邦学习调度装置及系统。本申请能够实现服务器对客户端的灵活调度,能够提高训练模型的准确度以及节约训练时间。
技术领域
本申请涉及信息技术领域,尤其涉及一种联邦学习调度方法、装置及系统。
背景技术
联邦学习联邦机器学习是一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。总的流程就是用户在本地客户端进行训练,然后将训练好的模型发给服务器端,服务端对模型进行一定的处理,再下放给用户的客户端,客户端再根据新的模型进行训练。但是在具体的如何协调客户端和服务器进行联邦学习是一个重要的挑战。
随着移动智能设备的使用,产生越来越多的数据,所以迫切需要基于这些数据的机器学习方式。适应移动端的机器学习的联邦学习框架也受到越来越多的人深入研究。联邦学习的框架业主要分成两类。起初,在论文《Communication-Efficient Learning ofDeep Networks from Decentralized Data》中提出了一种同步的协同方式。随后在论文《Asynchronous Federated Optimization》又提出一种异步的协同方式。
但是,采用同步方案时,一方面,其全局模型更新速度慢,因为每一轮服务器都要等待选中的客户端的报告,且因为客户端是现实中用户的各种各样的终端,所以客户端的训练时间是不一样的并且有可能突然断网,所以服务器需要设置时间窗口去等待足够多的客户端报告,如果收不到足够多的客户端,就放弃本轮的训练,这样会减缓更新速度;另一方面,服务器调度客户端的方式不够灵活,由于服务器调度客户端和更新全局模型的步骤是串行的,每次都要等待本轮的更新完成才能进行下一次训练任务,重新调度客户端,又因为客户端是用户的移动端,处于现实的不可控环境而不是稳定的集成环境,所以客户端不能随时参与训练,所以在调度客户端上会受到服务器调度方式和客户端状态的限制,且对于这个客户端状态的限制条件,是没有办法控制的。而采用异步方案时,一方面,其训练结果受版本差(staleness)影响大,异步方案将调度客户端和更新全局模型分开,虽然客户端调度更灵活,但是服务器会收到基于更早全局模型训练的更新,服务器和更新的版本差会对模型造成坏的影响;另一方面,在客户端报告的高并发的状况下,版本差(staleness)增大过快,异步方案是周期调度一些客户端,发送全局模型给它们训练,在良好的训练环境中,客户端可能会同时向服务器报告,例如有20个客户端同时报告,服务器是来一个客户端更新就更新一次,所以服务器的版本就迅速增加,这样基于相同的全局模型的更新就会产生不同的版本差,最后一个更新的版本差就是20,而版本差越大,最后一个模型的更新就容易出现浪费的情况。
发明内容
本申请实施例的目的在于提出一种联邦学习调度方法、装置及系统,以解决传统的联邦学习方法模型更新速度慢以及服务器调度客户端灵活度不高的问题。
为了解决上述技术问题,本申请实施例提供一种联邦学习调度方法,采用了如下所述的技术方案:
服务器接收客户端发送的联邦学习训练请求;
服务器响应联邦学习训练请求,将当前全局模型的模型数据发送至客户端进行训练;
服务器调度客户端的历史训练记录,得到客户端的历史训练时间;
服务器基于历史训练时间计算时间窗口的预备值;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院深圳先进技术研究院,未经中国科学院深圳先进技术研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011405422.9/2.html,转载请声明来源钻瓜专利网。