[发明专利]一种边-云协同的深度神经网络模型训练方法

说明书

一种边‑云协同的深度神经网络模型训练方法，先由中心云训练得到一个普适化模型，随后将该模型迁移到边缘服务器上，边缘服务器对该普适化模型进行微调和再训练，微调的方式是冻结普适化模型除最后一层以外的所有神经网络层的参数，再修改最后一层全连接层的参数(主要通过修改神经元的个数实现)，然后以自身的个性化数据为训练数据集，再训练该普适化模型，得到一个能够表征当前场景个性化特点的且准确率更高的个性化DNN模型。本发明提升模型预测准确率。

技术领域

本发明属于边缘智能技术领域，涉及一种在边缘云-中心云系统中对深度神经网络模型进行训练以提升模型预测准确率的方法。

背景技术

边缘智能是指结合边缘计算实现的人工智能，将深度学习应用的大部分计算任务部署到边缘云而非中心云，既可以满足深度学习应用对于低时延的需求，又能保证深度学习应用的服务质量，从而实现了边缘计算和人工智能的双赢。边缘智能的发展对边缘计算和人工智能具有双向共赢的优势：一方面，边缘数据可以借助智能算法释放潜力，提供更高的可用性。另一方面，边缘计算能为智能算法提供更多的数据和应用场景。

由于深度神经网络模型的训练过程需要大量的计算存储资源，而边缘云的计算存储资源相对有限，和中心云无法比拟，另外，边缘数据具有单一性，用单一数据训练得到的模型通常性能不佳，因此边缘云独自进行模型训练往往不能得到较高的模型准确率。边-云协同进行模型训练是一种高效的模型训练方式，这种方式可以共同利用中心云和边缘云的优势，先在中心云训练得到一个高准确率的普适化模型，再将该模型迁移至边缘云加以微调和再训练，构建一个更符合边缘场景需求的个性化模型。

发明内容

为了解决边缘数据单一且边缘云服务器计算能力有限，无法训练一个高准确率的深度神经网络模型问题，本发明提出了一种在边缘云-中心云系统中，通过边-云协同训练深度神经网络模型的方案。该方案借助中心云的力量为边缘云提供强大的计算存储资源，能够预训练得到一个准确率较高的普适化模型，边缘云在普适化模型的基础上再训练得到一个符合自身场景特点的准确率更高的个性化模型。

为了实现上述过程，本发明提供以下的技术方案：

一种边-云协同的深度神经网络模型训练方法，包括如下步骤：

步骤1：中心云资源丰富，存有分类广泛且全面的海量数据，这些数据均经过有效标记，十分适合普适化模型的训练，首先根据任务类型选取输入数据集用来进行模型训练，将这些数据定义为input_c；

步骤2：根据任务的类型选取合适的深度神经网络模型框架，将选取的神经网络模型框架定义为Model_pre；

步骤3：将input_c按比例k:1划分为训练集train_c和测试集validate_c；

步骤4：选择或定义一个当前网络的误差损失函数lossFunction_c，选择或定义一个适合当前网络的优化器optimizer_c，并选择一个迭代次数epoch_c，开始Model_pre的迭代优化训练；

步骤5：首先随机初始化Model_pre中的各个参数；

步骤6：在train_c数据集上进行Model_pre的优化训练，并用lossFunction_c计算其输出值与期望值的误差loss，随后将误差loss进行反向传播，并用optimizer_c进行Model_pre中各个参数的优化；

步骤7：结束一次网络训练后使用validate_c数据集对训练后的Model_pre进行性能测试，计算其测试准确率accuracy_c；

步骤8：将步骤6和步骤7重复epoch_c次循环，并选择保留accuracy_c最高的一组模型参数为最终在中心云预训练得到的普适化模型Model_pre；

步骤9：中心云将Model_pre发送给边缘云；