[发明专利]一种基于概率性抽样的大规模边缘机器学习训练方法

说明书

本发明涉及一种基于概率性抽样的大规模边缘机器学习训练方法，所训练方法主要包括以下步骤：步骤1、在服务器设置训练模型和训练参数；步骤2、对每个设备做数据预处理并准备本地训练数据集；步骤3、针对每个设备上传本地训练得到的梯度参数，上传到服务器等；本发明所述学习训练方法的优越效果在于，能够有效地针对大规模的边缘设备进行训练，通过概率性采样，在判断同步的过程中不再受限于规模的大小，能够有效地增加训练系统的可扩展性，支持大规模的边缘训练，展示了本发明所述学习训练方法的简洁性和有效性。

技术领域

本发明涉及大规模边缘机器学习技术领域，具体涉及一种基于概率性抽样的大规模边缘机器学习训练方法。

背景技术

随着边缘计算设备的普及，边缘机器学习技术支撑了大量智能应用中的数据获取和分析需求，边缘机器学习技术利用边缘设备在日常环境中收集大量的数据，并在智慧交通路况监管、个人化智能服务等问题上具有很高的实际应用价值。例如，在一个智慧城市交通系统中分布着大量高清摄像头用于获取实时数据，这些海量视频数据需要及时分析处理，用于更新边缘端部署的智能模型，并应用于不同的交通场景。另一个例子是广泛普及的手机中对输入法、语音服务等智能服务中，需要基于对大量个人数据分析学习后产生个人化的服务。这些边缘应用需要大规模的异构化数据，需要对用户端事件做出快速响应和学习，针对不同应用场景提供个人化的反馈，这些单靠传统的基于云端服务器的机器学习是很难达到理想结果的。

和其他机器学习技术一样，边缘机器学习中不同计算节点之间的同步方法是训练性能的关键之一。然而，在以边缘机器学习为核心的边缘智能计算技术中，一个重要的特点是系统中往往涉及大规模的、具有不同计算能力和通信能力的边缘设备。这为大规模边缘机器学习训练中的同步方法的设计带来了全新的挑战。如何快速、准确、经济地完成分布式机器学习的训练也成为了大规模边缘机器学习领域的研究热点。

但是当前的分布式机器学习的训练存在以下两个问题，第一，模型训练精度低，计算平台异构性降低了模型的精确性，而且节点之间不同的训练进度也同样为算法的收敛带来巨大的问题；第二，系统训练速度慢，计算节点的性能波动会减缓系统进度，系统进度将会受到滞后节点的严重影响。针对这一重要课题，已经有来自学术界和工业界的很多研究工作，但是并不能完全解决以上所提到的挑战。

针对模型精确性低的问题，在分布式训练中常用的方法是通过牺牲部分系统进度来获取模型进度。其中最基本的方法被称作整体同步并行(Bulk Synchronous Parallel，BSP)，在该方法中，所有的结点都需要等待所有其他的结点完成一个迭代的计算任务后，再在服务器中整合升级模型。这一方法提供了高模型精确度，但是却会收到延迟结点的严重影响，这一问题在大规模边缘计算网络中尤其明显。另一份代表性的研究工作是来自卡内基梅隆大学的研究团队提出的延迟同步并行(Stale Synchronous Parallel，SSP)方法，允许不同的结点之间的训练进度有一定限度内的差异。该方法相比BSP更加灵活，然而它依旧需要中央服务器的统一协调和频繁的通信，不能够扩展到大规模的网络。来自阿里巴巴的团队则从应用角度出发，解释了为什么现有的启发式训练方法对精度的影响小于预期(Parallel Restarted SGD with Faster Convergence and Less Communication:Demystifying Why Model Averaging Works for Deep Learning)。洛桑联邦理工学院的研究人员作出类似的证明(Local SGD converges fast and communicates little)，并基于此理论降低了不同节点之间的通信同步频度。然而，这也不能从根本上解决异构环境下训练精度降低的问题。