[发明专利]边缘网络中的分组集成蒸馏联邦学习方法

说明书

本发明公开了一种边缘网络中的分组集成蒸馏联邦学习方法，涉及机器学习技术领域，包括：对确定的Client设备进行分组，每组包括一个Leader设备和若干attender设备；对于每一组Client设备，均对全局模型进行N轮集成蒸馏联邦训练；每组Client设备中的Leader设备将训练得到的全局模型参数返回给边缘服务器；边缘服务器对接收到的所有全局模型参数进行聚合处理，之后进行测试，若得到的联邦学习Loss数据收敛，则联邦学习结束，否则将聚合处理后的全局模型参数下发给Leader设备，Leader设备据此更新本地最近训练过的全局模型。本发明通过对具有不同的计算资源的端设备设置不同的模型训练，然后使用集成蒸馏的方法来进行知识迁移，提高了模型的准确率，同时避免了服务器进行复杂的模型训练。

技术领域

本发明涉及机器学习技术领域，具体而言，涉及一种边缘网络中的分组集成蒸馏联邦学习方法。

背景技术

随着移动设备性能的提升和边缘网络的发展，大量的计算资源配置在边缘，一个集中式的数据中心不再是必须的，模型的学习和数据的训练可以通过分布式的方式完成，并且避免了上传数目庞大的原始数据所造成的网络负担，并且具有能够利用大面积用户集群真实数据的优势，能够促进大规模的数据训练与模型学习。但在边缘计算进行分布式学习会面临数据安全与隐私保护的问题。而联邦学习所具有的隐私保护特性和分布式模型计算能力，正好与边缘网络场景适配，将联邦学习应用到边缘网络中已经在交通、购物和医疗等方面有所实践，具有广泛的研究和应用前景。

联邦学习是一种分布式的机器学习方法，该方法能够在不收集用户数据的情况下,在每台设备上独立完成模型训练,再将梯度数据进行隐私保护加密传输到中心节点服务器(联邦中心),最后,中心节点根据汇总结果将更新后的梯度(全局模型)再回传到每台设备上,从而完成每台设备的梯度和模型更新,解决了用户数据孤岛问题。目前,机器学习的很多领域都已引入联邦学习,如联邦迁移学习、联邦强化学习、联邦安全树等。普通的联邦学习算法如FedAvg或FedSGD，其中所有代理使用本地SGD更新参与训练步骤，并在不共享任何私有数据的情况下基于代理模型的聚合构建全局模型。尽管联邦学习可以避免传统的集中式的机器学习和数据收集所带来的许多隐私问题和经济成本，但它同时也带来了大量的开放问题和挑战。尤其是在边缘计算环境下边缘设备资源受限的情况下，联邦网络不仅在数据异构上面临很大的挑战，在设备异构和模型异构上同样面临着很大的挑战并且由于目前的联邦学习过程中，在服务器端处聚合的模型通常与在客户端处进行分布式训练的模型结构需要保持一样，但是通常来说，在一个边缘服务器所包含的设备中能具有足够的计算资源能够训练服务器端所需要的大模型的数量总是少数，所以很有可能出现能够参与联邦学习的客户端数量不够而导致联邦学习不能拥有足够的训练方和训练数据从而达不到比较好的效果，全局模型就不能够满足集群中大多数用户的需要。但是如果服务器端为了获得更多的参与方提高数据量而做出妥协去设定一个较小的模型作为全局模型来训练的话，也不能达到所期望的高准确率的效果，针对联邦学习面临的此种困境，知识蒸馏的方法被用来解决这些问题。

Hinton等人提出了知识蒸馏,将教师网络相关的软目标作为损失函数的一部分,以诱导学生网络的训练,实现知识迁移。Yim等人使用矩阵来刻画层与层之间的特征关系,然后用L2损失函数去减少教师模型和学生模型之间的差异,并让学生模型学到这种手段,而不仅仅是利用目标损失函数进行知识的迁移。Heo等人利用对抗攻击策略将基准类样本转为目标类样本,对抗生成的样本诱导学生网络的训练,从而有效提升学生网络对决策边界的鉴别能力。但硬标签会导致模型产生过拟合现象,对此,Yang等人提出了一个更合理的方法,并没有去计算所有类的额外损失,而是挑选了几个具有最高置信度分数的类来软化标签,提高模型的泛化性能。