[发明专利]模型优化方法、电子设备以及计算机可读存储介质

说明书

本发明公开了一种模型优化方法、电子设备以及计算机可读存储介质，该方法应用于第一电子设备，第一电子设备处于包括多个第二电子设备的集群网络，多个第二电子设备上至少分布两种具有不同数据结构的第一数据，第一电子设备根据每个第二电子设备上分布的第一数据的数据结构，为每个第二电子设备确定第一神经网络模型，第一神经网络模型包括第一模型参数和第一结构参数；第一电子设备根据每个第二电子设备对应的第一数据，确定多个第二电子设备之间的相关系数，以及第一电子设备根据相关系数调整每个第二电子设备对应的第一模型参数和第一结构参数，得到第二神经网络模型，第二神经网络结构为针对集群网络进行模型优化得到的神经网络模型。

技术领域

本发明涉及人工智能学习领域，尤其是涉及模型优化方法、装置、电子设备以及计算机可读存储介质。

背景技术

现有的联邦学习(Federated Learning，FL)技术中，集群网络中各客户端设备(或节点设备)通过配置相同的神经网络模型，即神经网络模型的结构相同，然后由集群网络中的服务器聚合客户端设备(或节点设备)上传的各神经网络模型的模型参数，或者说对客户端设备上传的各神经网络模型的模型参数进行加权平均，得到更新后的模型参数，进而得到优化后的全局神经网络模型，然后服务器将该全局神经网络模型发送至各客户端设备，完成共同训练。

但是上述方法无法满足各客户端设备模型优化的个性化需求。同时也加重了客户端设备的计算负担。

在另外一些方案中，研究人员开始关注个性化联邦学习(PersonalizedFederated Learning,PFL)。个性化联邦学习利用多任务学习、元学习等技术，将每个客户端设备的学习任务视作不同任务，以此得到每个客户端设备对应的单独的神经网络模型，进而实现模型优化的个性化(例如摩卡(MOCHA)个性化联邦学习方法)。

但是，这种个性化联邦学习方法存在过拟合或欠拟合问题。

在其他方案中，研究人员则考虑将知识蒸馏方法(Knowledge Distillation,KD)中只交换软标签(也即神经网络模型针对某数据输出的概率值)、不交换神经网络模型的模型参数的思想运用到联邦学习中，例如异步联邦学习方法(Heterogenous FederatedLearning via Model Distillation，FedMD)、知识蒸馏联邦学习算法(To enableFEDerated learning in more realistic settings,we propose to use ensembleDistillation for robust model Fusion，FedDF)等联邦学习算法)。

然而，这种通过交换各客户端设备的软标签的形式进行模型优化的方法存在数据隐私和通信负担大的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供了一种模型优化方法、装置、电子设备以及计算机可读存储介质，以解决现有联邦学习中，无法满足模型优化过程中各客户端设备个性化优化的需求。

第一方面，本发明提供了一种模型优化方法，该方法应用于第一电子设备，第一电子设备处于集群网络，集群网络还包括多个第二电子设备，多个第二电子设备上至少分布两种具有不同数据结构的第一数据，方法包括：第一电子设备根据每个第二电子设备上分布的第一数据的数据结构，为每个第二电子设备确定第一神经网络模型，第一神经网络模型包括第一模型参数和第一结构参数；第一电子设备根据每个第二电子设备对应的第一数据，确定多个第二电子设备之间的相关系数，以及第一电子设备根据相关系数调整每个第二电子设备对应的所第一模型参数和第一结构参数，得到第二神经网络模型，第二神经网络结构为针对集群网络进行模型优化得到的神经网络模型。