[发明专利]基于联邦学习和ALQ压缩的分布式机器学习方法及系统

说明书

本发明涉及一种基于联邦学习和ALQ压缩的分布式机器学习方法及系统，所述系统包括一个服务器端和多个客户端，服务器端的功能包括初始化全局机器学习模型、分发模型至客户端、收集客户端的模型并计算新的全局模型；客户端的功能包括接收全局模型、用本地数据对模型进行训练以及上传训练好的本地模型，服务器端和客户端之间的通信数据通过ALQ压缩算法进行压缩。与现有技术相比，本发明具有保证数据隐私安全性、适用于对通信量和扩展性有严格要求的空间信息网络等优点。

技术领域

本发明涉及计算机系统方向的分布式系统领域和计算科学方向的机器学习领域，尤其是涉及一种基于联邦学习和ALQ压缩的分布式机器学习方法及系统。

背景技术

过去十年空间信息网络得到了飞速的发展，例如部署小型卫星和无人机供公众使用，包括互联网服务、地理摄影、导航、天气预报和交通数据分析。到目前为止，SpaceX已经部署了1000多颗StarLink卫星提供宽带互联网连接。此外，配备传感器和摄像头的小型卫星和无人机具有一直收集大量高分辨率图像和视频数据的能力，使诸如谷歌地图等应用程序能够提供实时街景和交通监控。

随着空间信息网络设备收集的有价值的数据数量不断增加，人们对智能、高效的数据分析的广泛兴趣被不断激发。利用数据在卫星和无人机上启用机器智能有两个显著的效益：一是提高数据分析效率，进一步提升公共服务质量，如天气预报、交通导航。二、协助航天器管理并自主优化空间通信和航天器的可靠性，进一步降低地面部分和执行任务的负担和成本。

工业和学术界已尝试在SIN设备上启用机器学习。KP Labs开发了Leopard，一种集成的具有强大FPGA芯片的机载计算机，可加速执行卫星上的深度学习算法。英特尔发布了Movidius Myriad VPU，一种能够在低功耗环境中加速机器视觉任务的微处理器。此外，欧洲航天局提出了Mexar2，利用机器学习技术来优化空间通信。美国宇航局设计了太空通信和导航(SCaN)测试平台以利用机器学习探索认知无线电和未被用作通信部分的电磁频谱。

然而，现有的研究仅尝试在单个空间信息网络设备上执行机器学习任务，即使机器并行可以大大加速计算。例如，Manning等人将机器学习框架TensorFlow Lite部署到现代小型卫星计算机上并使用卷积神经网络执行图像分类任务。然而，尽管如此，在单个空间信息网络设备上得到准确、通用的模型是近乎不可能的，因为单个设备往往算力和存储空间都十分有限并且现有的深度学习算法通常需要数百万个数据样本和数千个并行计算线程(即GPU流处理器)来训练适合工业环境的模型。因此，在小型卫星和无人机上启用分布式机器学习是势在必行的。

目前阻碍机器学习在空间信息网络设备上部署的主要问题是这些设备本身有限的资源以及和地面控制台之间不稳定、低带宽的通信。这使得机器学习对流量的巨大需求与空间信息网络较差的通信质量之间存在极大的矛盾。并且，不稳定的通信也会进一步增加协调各个设备的难度。

发明内容

本发明提供一种基于联邦学习和ALQ压缩的分布式机器学习方法及系统，可应用于对通信量和扩展性有严格要求的空间信息网络中。

本发明需要解决的技术问题是如何将分布式机器学习更加高效的部署到空间信息网络的设备上，及如何优化通信使得分布式机器学习能够更好地适应空间信息网络较低的通信质量，克服以下3个技术难点：

(1)如何让分布式机器学习更好地适应通信质量差、对可扩展性要求高的空间信息网络，在不影响最终模型训练效果的前提下尽可能地降低通信量。

(2)如何减少掉线设备或者通信延时较高、带宽较低的设备对整体训练的影响。

(3)如何对各个空间网络设备上的数据隐私进行保护。

本发明的上述目的可以通过以下技术方案来实现：

第一方面，本发明提供一种基于联邦学习和ALQ压缩的分布式机器学习方法，应用于客户端，包括以下步骤：