[发明专利]一种基于概率性抽样的大规模边缘机器学习训练方法

权利要求书

1.一种基于概率性抽样的大规模边缘机器学习训练方法，其特征在于，所述学习训练方法，包括以下步骤：

步骤1、在服务器设置训练模型和训练参数；

步骤2、对于系统中的参与训练的大量边缘端设备，对每一个设备做数据预处理并准备本地训练数据集，从服务器获取最新的训练模型，所述训练模型包括回归模型、深度训练模型，开始进行本地训练；

步骤3、在步骤2的基础上，针对每一个设备上传本地训练得到的梯度参数，上传到服务器，服务器根据在已经上传的梯度参数中以及在大规模的参与训练的设备中进行概率性抽样；

步骤4、根据概率性抽样的结果，服务器判断当前已经上传的梯度参数的设备是否已经达成同步：

步骤4.1、服务器判断当前已经上传梯度参数的设备达成同步，则进入步骤5；

步骤4.2、服务器判断当前已经上传梯度参数的设备没有达成同步，如果尚未同步则回到步骤3等待更多设备的上传；

所述的服务器判断当前已经上传梯度参数的设备是否已经达成同步，需要根据服务器在步骤1中的训练参数设置而定，依据子集的同步与否作为判断参与上传梯度的所有设备是否同步作为依据；当同步方法设置为BSP，那么需要判断子集中的设备的训练迭代数目是否一致；当设置为SSP，则需要判断子集中的设备的训练迭代数目差异是否在控制范围内，控制范围由不同设备之间最大允许延迟数这一参数指定；这里迭代数目的依据为服务端的设备迭代数计数器信息；

步骤5、服务器将现有梯度参数加和，并更新本地模型，更新本地模型使用固定的学习速率时，本地模型应减去学习速率和梯度参数加和的乘积；

服务器整合现有梯度参数以及更新本地模型是基于在步骤4中认定参与上传梯度的设备完成同步的前提，服务器首先将缓存区中的梯度数据求和，通过指定的学习速率方法，修改服务器端训练模型；

将本步骤中已上传梯度参数的设备在对应的计数器加1；

服务器每次经过一段时间会通过测试数据集检测模型的精度，并通过一系列连续测试之间模型精确度的差异来决定是否完成模型的训练；如未完成，那么返回步骤2，继续由边缘设备获取服务器端的最新训练模型并开始计算；

步骤6、检验本地模型收敛性，即测试训练模型的准确度并记录，当连续多次测量结果保持稳定，则认为模型收敛，检验本地模型的结果为收敛，结束本地训练，检测本地模型的结果为不收敛，则返回到步骤2继续进行本地训练。

2.按照权利要求1所述学习训练方法，其特征在于，步骤1中，服务器位于云端，并基于参数服务器分布式学习架构，通过PyTorch或TensorFlow机器学习框架搭建。

3.按照权利要求1所述学习训练方法，其特征在于，步骤1中，设置训练参数，训练参数包括机器学习速率方法的具体参数、采样大小、不同设备之间最大允许延迟数以及同步方法。

4.按照权利要求1所述学习训练方法，其特征在于，步骤1中，服务器需要初始化机器学习训练模型，并初始化一个对于参与训练的每一个边缘计算设备的迭代数目计数器数列，其长度为参与训练的设备数目。

5.按照权利要求1所述学习训练方法，其特征在于，步骤2中，每一个设备在本地进行数据预处理，依据每一个设备的不同而进行数据预处理存在差异，包括去除无效数据、重复数据，将训练数据和数据标签相对应的进行训练，设备需要向服务器发送请求，获取服务器当前最新的训练模型，然后基于本地数据进行训练。

6.按照权利要求1所述学习训练方法，其特征在于，步骤3中，每一个设备上传训练得到的梯度参数至服务器以及服务器根据从已经上传梯度参数的参与设备中进行概率性采样，包括以下步骤：

步骤301、每一个设备完成一个迭代的训练，得到梯度参数作为计算结果，上传到服务器；

步骤302、服务器缓存收到的梯度参数结果以及对应的设备信息；

步骤303、服务器从目前的缓存区的参与设备中，进行概率性抽样，获得一个子集。