[发明专利]基于联邦学习和ALQ压缩的分布式机器学习方法及系统

权利要求书

1.一种基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，应用于客户端，包括以下步骤：

获取服务器端发送的经压缩的全局模型参数，该全局模型参数通过ALQ压缩算法压缩获得；

还原所述经压缩的全局模型参数，在所述全局模型参数的基础上利用本地数据进行训练，获得本地模型参数；

通过ALQ压缩算法对所述本地模型参数进行压缩，形成本地模型更新参数，将压缩后的本地模型更新参数上传至服务器端。

2.根据权利要求1所述的基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，所述ALQ压缩算法的步骤包括：

1)对全精度坐标集合α进行剪枝；

2)对全精度坐标集合对应的二进制基B进行优化；

3)重复步骤1)和2)，获得最优的全精度坐标集合和二进制基。

3.根据权利要求2所述的基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，所述还原具体为：多个对应的二进制基与坐标相乘并求和。

4.根据权利要求1所述的基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，所述客户端为空间信息网络设备。

5.根据权利要求1所述的基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，所述再次压缩采用straight-through estimators算法执行。

6.一种基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，应用于服务器端，包括以下步骤：

初始化模型参数和结构，通过ALQ压缩算法压缩获得经压缩的全局模型参数；

在接收到所有客户端反馈的本地模型更新参数后，所述本地模型更新参数通过ALQ压缩算法压缩获得，对各本地模型更新参数进行还原并融合，获得全局模型更新参数；

再次通过ALQ压缩算法对全局模型更新参数进行压缩并发送至客户端，直至训练结束。

7.根据权利要求6所述的基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，所述ALQ压缩算法的步骤包括：

1)对全精度坐标集合α进行剪枝；

2)对全精度坐标集合对应的二进制基B进行优化；

3)重复步骤1)和2)，获得最优的全精度坐标集合和二进制基。

8.根据权利要求7所述的基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，所述还原具体为：多个对应的二进制基与坐标相乘并求和。

9.根据权利要求6所述的基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，所述融合具体为：对所有还原得到的模型参数进行加权求和。

10.一种基于联邦学习和ALQ压缩的分布式机器学习系统，其特征在于，包括一个服务器端和多个客户端，其中，

所述客户端用于获取服务器端发送的经压缩的全局模型参数，该全局模型参数通过ALQ压缩算法压缩获得；还原所述经压缩的全局模型参数，在所述全局模型参数的基础上利用本地数据进行训练，获得本地模型参数；通过ALQ压缩算法对所述本地模型参数进行压缩，形成本地模型更新参数，将压缩后的本地模型更新参数上传至服务器端；

所述服务器端用于初始化模型参数和结构，通过ALQ压缩算法压缩获得经压缩的全局模型参数；在接收到所有客户端反馈的本地模型更新参数后，所述本地模型更新参数通过ALQ压缩算法压缩获得，对各本地模型更新参数进行还原并融合，获得全局模型更新参数；再次通过ALQ压缩算法对全局模型更新参数进行压缩并发送至客户端，直至训练结束。