[发明专利]半异步联邦学习的方法和通信装置

说明书

本申请提供了一种联邦学习的方法,通信装置通过设置阈值(时间阈值或/和计数阈值)触发终端设备发送的局部模型的融合生成全局模型，且在设计局部模型的融合权重时，综合考虑终端设备的局部模型所包含的数据特性、滞后程度以及对应终端设备的样本集数据特征的利用程度，既可避免同步式系统中模型上传版本同步要求所导致的训练效率低下的问题，也可避免异步式系统“即到即更”原则导致的收敛不稳定和泛化能力差的问题。

技术领域

本申请涉及通信领域，并且具体地，涉及一种半异步联邦学习的方法和通信装置。

背景技术

随着大数据时代的到来，每台设备每天都会以各种形式产生巨量的原始数据，这些数据将以“孤岛”的形式诞生并存在于世界的各个角落。传统的集中式学习要求各个边缘设备将本地数据统一传输到中心端的服务器上，其后再利用收集到的数据进行模型的训练与学习，然而这一架构随着时代的发展逐渐受到如下因素的限制：(1)边缘设备广泛地分布于世界上各个地区和角落，这些设备将以飞快的速度源源不断地产生和积累巨大量级的原始数据。若中心端需要收集来自全部边缘设备的原始数据，势必会带来巨大的通信损耗和算力需求；(2)随着现实生活中实际场景的复杂化，越来越多的学习任务要求边缘设备能够做出及时而有效的决策与反馈。传统的集中式学习由于涉及到大量数据的上传势必会导致较大程度的时延，致使其无法满足实际任务场景的实时需求；(3)考虑到行业竞争、用户隐私安全、行政手续复杂等问题，将数据进行集中整合将面临越来越大的阻力制约。因而系统部署将越来越倾向于在本地存储数据，同时由边缘设备自身完成模型的本地计算。

因此，如何在满足数据隐私、安全和监管要求的前提下，设计一个机器学习框架，让人工智能(artificial intelligence，AI)系统能够更加高效、准确地共同使用各自的数据，成为了当前人工智能发展的一个重要议题。联邦学习(federated learning，FL)这一概念的提出有效地解决了当前人工智能发展所面临的困境，其在充分保障用户数据隐私和安全的前提下，通过促使各个边缘设备和中心端服务器协同合作来高效地完成模型的学习任务。FL的提出虽然在一定程度上解决了人工智能领域当前发展所面临的问题，但传统的同步式和异步式FL框架仍然存在一定的局限性。

发明内容

本申请提供一种半异步式联邦学习的方法，既可避免传统的同步式系统所导致的训练效率低下的问题，也可避免异步式系统“即到即更”原则导致的收敛不稳定和泛化能力差的问题。

第一方面，提供了一种半异步式联邦学习的方法，可以应用于计算节点，也可以应用于计算节点内的部件(例如芯片，芯片系统或处理器等)，包括：计算节点在第t轮迭代中向K个子节点中的部分或全部发送第一参数，所述第一参数包括第一全局模型、第一时间戳t-1，其中，所述第一全局模型为所述计算节点在第t-1轮迭代中生成的全局模型，t为大于或等于1的整数，所述K个子节点是参与模型训练的所有子节点；所述计算节点在第t轮迭代中接收至少一个子节点发送的第二参数，所述第二参数包括第一局部模型和第一版本号t'，其中，所述第一版本号表示所述第一局部模型是所述子节点基于本地数据集对在第t'+1轮迭代中接收的全局模型训练生成的，所述第一版本号是所述子节点根据第t'+1轮迭代中接收到的时间戳确定的，1≤t'+1≤t且t'为自然数；当达到第一阈值时，所述计算节点使用模型融合算法对已接收到的m个第一局部模型进行融合，生成第二全局模型，同时将第一时间戳t-1更新为第二时间戳t，m为大于或等于1且小于或等于K的整数；所述计算节点在第t+1轮迭代中向所述K个子节点中的部分或全部或子节点发送第三参数，所述第三参数包括所述第二全局模型、第二时间戳t。

上述技术方案中，计算节点根据通过设置阈值(或触发条件)的方式触发多个局部模型的融合，既可避免异步式系统“即到即更”原则导致的收敛不稳定和泛化能力差的问题，另外，该局部模型可以是客户端基于本地数据集对本轮或本轮之前接收到的全局模型训练生成的局部模型，也可避免传统的同步式系统中模型上传版本同步要求所导致的训练效率低下的问题。

可选的，第二参数中还可以包括发送第二参数的子节点对应的设备号。