[发明专利]网络结构搜索方法、装置、设备、存储介质及程序产品

说明书

本发明公开了一种网络结构搜索方法、装置、设备、存储介质及程序产品，所述方法包括从所述待搜索网络中选取与目标参与方的计算资源大小相匹配的部分网络；将所述部分网络发送给所述目标参与方，以供所述目标参与方对所述部分网络进行本地训练得到本地参数更新信息并返回；对从各参与方接收到的本地参数更新信息进行全局融合得到全局参数更新信息，根据所述全局参数更新信息对所述待搜索网络中的参数进行更新，其中，所述参数包括模型参数和/或结构参数。本发明实现了计算资源较少的参与方也可以参与大型模型的横向联邦学习，从而能够获得预测准确率更高的模型。

技术领域

本发明涉及联邦学习技术领域，尤其涉及一种网络结构搜索方法、装置、设备、存储介质及程序产品。

背景技术

随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，使得联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。横向联邦学习，也称为特征对齐的联邦学习(feature-alignedfederated learning)，目标是利用各方有限的数据，在保障数据安全的前提下，共同训练一个全局模型，各方持有的模型与全局模型相同。

目前，对于很多机器学习任务，模型越大往往性能越好，比如对于卷积神经网络(CNN)，越深越宽的模型，经过充分训练后，准确率越高，模型越大在训练过程中需要消耗的计算资源也越大。

然而，在横向联邦场景下，各个参与方的本地计算资源是不同的，若有参与方的计算资源少，则各方只能进行小型模型的训练，从而限制了联邦学习训练得到的全局模型的性能。因此，如何能够在部分参与方计算资源少而不能进行大模型训练的情况下，共同训练一个全局大模型，是一个亟待解决的问题。

发明内容

本发明的主要目的在于提供一种网络结构搜索方法、装置、设备、存储介质及程序产品，旨在解决如何能够在部分参与方计算资源少而不能进行大模型训练的情况下，共同训练一个全局大模型的问题。

为实现上述目的，本发明提供一种网络结构搜索方法所述方法应用于应用于参与横向联邦学习的协调方，所述协调方与参与横向联邦学习的各参与方通信连接，所述协调方部署有待搜索网络，所述方法包括以下步骤：

从所述待搜索网络中选取与目标参与方的计算资源大小相匹配的部分网络；

将所述部分网络发送给所述目标参与方，以供所述目标参与方对所述部分网络进行本地训练得到本地参数更新信息并返回；

对从各参与方接收到的本地参数更新信息进行全局融合得到全局参数更新信息，根据所述全局参数更新信息对所述待搜索网络中的参数进行更新，其中，所述参数包括模型参数和/或结构参数。

可选地，所述从所述待搜索网络中选取与目标参与方的计算资源大小相匹配的部分网络的步骤包括：

根据目标参与方的计算资源信息计算得到所述目标参与方可容纳模型大小占所述待搜索网络的模型大小的目标比例；

根据所述目标比例从所述待搜索网络中随机选取出部分网络，其中，所述部分网络的模型大小占所述待搜索网络的模型大小的比例小于或等于所述目标比例。

可选地，所述根据所述目标比例从所述待搜索网络中随机选取出部分网络的步骤包括：

对于所述待搜索网络中的各节点，根据所述目标比例确定所述节点对应的保留边数，其中，所述保留边数占所述节点在所述待搜索网络中的全部后接边边数的比例小于或等于所述目标比例；

从所述节点在所述待搜索网络中的全部后接边中随机选取保留后接边，其中，所述保留后接边的边数为所述保留边数；

将所述待搜索网络中由各所述节点对应的所述保留后接边所连接的部分作为部分网络。