[发明专利]面向异构设备的分布式神经网络训练方法、装置及介质

说明书

本发明提供一种面向异构设备的分布式神经网络训练方法、装置及介质，所述方法包括：步骤10、计算每一设备端面向不同数据源的算力值；步骤20、进行模型分割，将原始深度模型分割给各个设备端，使得每一设备端到各自的分割模型；步骤30、在每一设备端上以自身输出和设定的迭代次数对分割模型训练，并在迭代完成后将模型参数进行加密处理后上传至服务端，服务端获取各个设备端的加密信息并解析得到模型参数，利用各个设备端的模型参数对原始深度模型进行更新，完成分布式训练。本发明可实现大规模场景的训练需求，同时实现隐私保护和模型压缩，提高安全性和训练效率。

技术领域

本发明涉及图像处理领域和边缘智能领域，特别涉及面向多源数据异构设备的分布式神经网络训练方法、装置及介质。

背景技术

深度神经网络已成为图像、视频、生物传感器等高维数据分类和预测的新技术。生物医学和健康等领域的新兴技术将受益于通过自动化参与和降低人工操作成本来构建用于预测和推理的深度神经网络。然而，深层神经网络的训练可能是数据密集型的，需要准备从多个实体收集大规模数据集。深度神经网络通常包含数百万个参数，训练时需要巨大的计算能力，这使得单个数据库很难训练这些参数。

在实际应用中，需要足够深的神经结构，需要大量的超级计算资源才能获得最佳的精度。因而，传统集中式的模型训练则难以满足这种大规模场景的需求，进而通过分布式机器学习的实现，将模型部署到不同的计算资源上可以节省大量时间。此外，由于与共享非匿名数据有关的隐私和伦理问题，在此类领域中应用深度学习有时可能会带来隐私挑战。虽然许多此类数据实体都对开发新的深度学习算法感兴趣，但它们也有义务保持用户数据的私有化，这使得在构建机器学习模型时使用这些数据更具挑战性。所以实现面向多源数据异构设备的分布式神经网络训练技术的设计对于深度学习的未来发展前景有很大的意义。

发明内容

本发明要解决的技术问题，在于提供一种面向异构设备的分布式神经网络训练方法、装置和介质，可实现大规模场景的训练需求，同时实现隐私保护和模型压缩，提高安全性和训练效率。

第一方面，本发明提供了面向异构设备的分布式神经网络训练方法，所述方法包括：

步骤10、计算每一设备端面向不同数据源的算力值；

步骤20、进行模型分割，将原始深度模型分割给各个设备端，使得每一设备端到各自的分割模型；

步骤30、在每一设备端上以自身输出和设定的迭代次数对分割模型训练，并在迭代完成后将模型参数进行加密处理后上传至服务端，服务端获取各个设备端的加密信息并解析得到模型参数，利用各个设备端的模型参数对原始深度模型进行更新，完成分布式训练。

进一步地，所述步骤10具体为：依据多核CPU和多线程GPU异构计算系统中计算设备的算力计算方式，设计一种基于GPU-CPU的并行顺序二次规划算法来计算设备端面向不同数据源的算力值，将原始深度模型分解为NLP子问题，这些子问题由并行SQP算法同时解决，最终，通过从NLP子问题的解决方案中并行选择来获得最大算力值，即设备端面向不同数据源的计算能力值。

进一步地，所述步骤20具体为：

通过Amazon sagemaker的分布式模型并行库提供的自动模型分割功能获取第一模型分割方案；

将每个设备端提供的算力值求和，然后对每个设备端计算其算力比例，依此比例，将服务上原始深度神经网络按比例分割给每一设备端，即得到第二模型分割方案；

每一设备端通过选取第一模型分割方案和第二模型分割方案中较少神经网络层数的一个作为该设备端的分割模型。

进一步地，所述步骤30具体为：

在模型分割到所有设备端后，设备端开始以自身数据和设定的迭代次数进行训练，设备端迭代完成后将模型参数加密处理后上传至服务端，所述模型参数包括梯度信息；