[发明专利]基于知识联邦的多端模型压缩方法、任务预测方法、装置及电子设备

说明书

本发明公开了一种基于知识联邦的多端模型压缩方法、任务预测方法、装置及电子设备，其中多端模型压缩方法包括：将多个参与方上报的第N轮训练后的本地模型进行聚合得到全局待压缩模型，所述N大于或等于1；采用公共数据集基于预设性能指标对所述全局待压缩模型进行压缩，得到全局压缩模型，所述预设性能指标用于表征全局压缩模型在进行预测时的性能指标，所述公共数据集是通过对所述多个参与方的数据进行数据增强后得到的；将所述全局压缩模型发送至所述多个参与方以进行N+1轮训练。

技术领域

本发明涉及人工智能技术领域，具体涉及到一种多端模型压缩方法、任务预测方法、装置及电子设备。

背景技术

随着人工智能(AI)走向成熟，人们见识到了人工智能(AI)在复杂应用场景下的巨大潜力。例如无人汽车驾驶、医疗保健、金融数据分析等等。人们希望探索人工智能更深层次的优势，提升模型的鲁棒性和准确性。当前对人工智能的兴趣是由大数据所驱动的：2016年，AlphaGo总共使用了300,000个棋局作为训练数据，以取得出色的成绩。

有了AlphaGo的成功，人们自然希望，像AlphaGo这样的大数据驱动型AI能够在我们生活的各个方面早日实现。但是，现实世界中的情况有些令人失望：除少数行业外，大多数领域的数据有限或数据质量较差。当今的AI仍然面临两个主要挑战。一是在大多数行业中，数据以孤立的孤岛形式存在。另一个是加强数据隐私和安全性。如何合理地解决AI行业数据孤岛和数据安全问题是AI研究人员和从业人员面临的主要挑战。

基于知识联邦的多端联合训练的方式作为解决上述问题的一种解决方案，能够保证隐私数据不进行交换的前提下，多个参与方之间合作建立全局模型，使得全局模型能够得到充分的训练。以知识联邦中的模型层联邦为例，模型层联邦可以在实现多个参与方之间合作建立全局模型的前提下能够加强数据隐私和安全性以及解决数据孤岛问题。

然而，在对模型进行训练时，由于多方参与训练，需要频繁的通信和加密数据交换，因而带来了对于通信量的巨大挑战。并且，随着数据量以及参与方数量的增加，模型会越来越复杂，在模型训练和模型预测的过程中所需的传播数据会越来越多，通信压力会变的越来越大，进而导致模型训练的效率会大大下降。

因此，如何提高基于知识联邦中模型训练的效率成为亟待解决的技术问题。

发明内容

本发明实施例要解决的技术问题为如何提高基于知识联邦的模型训练效率。

根据第一方面，本发明实施例提供了一种基于知识联邦的多端模型压缩方法，包括：将多个参与方上报的第N轮训练后的本地模型进行聚合得到全局待压缩模型，N大于或等于1；采用公共数据集基于预设性能指标对全局待压缩模型进行压缩，得到全局压缩模型，预设性能指标用于表征全局压缩模型在进行预测时的性能指标，公共数据集是通过对多个参与方的数据进行数据增强后得到的；将全局压缩模型发送至多个参与方以进行N+1轮训练。

可选地，采用公共数据集基于预设准确率对全局待压缩模型进行压缩，得到全局压缩模型包括：基于剪枝算法利用公共数据集对全局待压缩模型进行剪枝，得到全局压缩模型。

可选地，服务方基于剪枝算法利用公共数据集对压缩模型进行剪枝操作，得到全局压缩模型包括：利用公共数据集对全局待压缩模型的当前全局参数进行更新得到全局待压缩模型的更新梯度；利用更新梯度确定全局待压缩模型的神经元的贡献度，贡献度用于表征神经元的激活程度；保留满足预设条件的神经元作为所述全局压缩模型，所述预设条件包括预设贡献度阈值和/或神经元数量比例。

可选地，利用公共数据集对全局待压缩模型的当前全局参数进行更新得到全局待压缩模型的更新梯度包括：利用公共数据集对全局待压缩模型的进行向前传播和反向传播，得到更新梯度。

可选地，利用全局更新参数确定全局待压缩模型的神经元的贡献度包括：根据更新梯度确定神经元的权重值梯度；基于权重值梯度计算神经元的贡献度。