[发明专利]基于知识联邦的多端模型压缩方法、任务预测方法、装置及电子设备

权利要求书

1.一种基于知识联邦的多端模型压缩方法，其特征在于，包括：

将多个参与方上报的第N轮训练后的本地模型进行聚合得到全局待压缩模型，所述N大于或等于1；

采用公共数据集基于预设性能指标对所述全局待压缩模型进行压缩，得到全局压缩模型，所述预设性能指标用于表征全局压缩模型在进行预测时的性能指标，所述公共数据集是通过对所述多个参与方的数据进行数据增强后得到的；

将所述全局压缩模型发送至所述多个参与方以进行N+1轮训练。

2.如权利要求1所述的多端模型压缩方法，其特征在于，所述采用公共数据集基于预设准确率对所述全局待压缩模型进行压缩，得到全局压缩模型包括：

基于剪枝算法利用公共数据集对所述全局压缩模型进行剪枝，得到所述全局压缩模型。

3.如权利要求1所述的多端模型压缩方法，其特征在于，所述服务方基于剪枝算法利用公共数据集对所述压缩模型进行剪枝操作，得到所述全局压缩模型包括：

利用所述公共数据集对所述全局待压缩模型的当前全局参数进行更新得到所述全局待压缩模型的更新梯度；

利用所述更新梯度确定所述全局待压缩模型的神经元的贡献度，所述贡献度用于表征神经元的激活程度；

保留满足预设条件的神经元作为所述全局压缩模型，所述预设条件包括预设贡献度阈值和/或神经元数量比例。

4.如权利要求3所述的多端模型压缩方法，其特征在于，所述利用所述公共数据集对所述全局待压缩模型的当前全局参数进行更新得到所述全局待压缩模型的更新梯度包括：

利用所述公共数据集对所述全局待压缩模型的进行向前传播和反向传播，得到所述更新梯度。

5.如权利要求3或4所述的多端模型压缩方法，其特征在于，利用所述全局更新参数确定所述全局待压缩模型的神经元的贡献度包括：

根据所述更新梯度确定神经元的权重值梯度；

基于所述权重值梯度计算神经元的贡献度。

6.如权利要求1所述的多端模型压缩方法，其特征在于，在所述采用公共数据集基于预设准确率对所述全局待压缩模型进行压缩和所述将所述全局压缩模型发送至所述多个参与方以进行N+1轮训练之间包括：

利用所述公共数据集对所述全局压缩模型进行测试，得到所述全局压缩模型的第一性能指标；

计算所述第一性能指标相对于所述全局待压缩模型的第二性能指标的性能衰减值，所述第二性能指标为利用所述公共数据集对所述全局待压缩模型进行测试得到；

当所述性能衰减值大于预设衰减值时，重复所述采用公共数据集基于预设准确率对所述全局待压缩模型进行压缩的步骤，直至所述性能衰减值小于或等于所述预设衰减值，进入步骤将所述全局压缩模型发送至所述多个参与方以进行N+1轮训练。

7.如权利要求1所述的多端模型压缩方法，其特征在于，所述将多个参与方上报的第N轮训练后的本地模型进行聚合得到全局待压缩模型包括：

对参与方上报的本地模型和本地模型参数进行聚合，得到全局模型和全局模型参数；

向参与方下分发聚合后全局模型和全局模型参数，完成一轮训练；

判断训练次数是否达到N次；

当所述训练次数达到N次，将完成第N轮训练后的全局模型作为全局待压缩模型。

8.一种任务预测方法，其特征在于，包括：

获取待预测任务数据；

将所述待预测任务数据输入至知识联邦的模型中得到预测结果，其中所述知识联邦的模型采用所述权利要求1-7任意一项多端模型压缩方法得到。