[发明专利]动态网络配置

说明书

提出了一种用于动态地配置用于训练机器学习模型的网络(100)的方法。该网络包括服务器计算设备(102)和多个客户端计算设备(104)。该方法在通信地耦合到网络的计算设备处执行，并且包括以下步骤：选择(202)用于参与训练模型的客户端计算设备；基于所选择的客户端计算设备确定(204)模型的评估度量的第一值；确定(206)调整触发的存在；响应于调整触发而调整(208)用于确定评估度量的值的客户端计算设备的数量；基于调整后的数量的客户端计算设备确定(210)评估度量的第二值；以及，相应地设置(212)参与训练模型的客户端计算设备的数量。

技术领域

本公开涉及机器学习。具体地，本公开涉及用于训练机器学习模型的网络的动态配置。

背景技术

本节旨在为本公开中描述的本发明的各种实施例提供背景。因此，除非本文另有说明，否则本节中描述的内容不应仅通过其被包含在本节中而被解释为现有技术。

在计算机科学中，人工智能(AI)是由机器演示的智能。典型的AI系统采取如下动作：通过使用计算方法自动地根据数据和经验进行学习和改进，从而最大限度地提高成功地实现特定目标的机会，而无需被明确编程。这被称为机器学习。为了彻底地训练计算模型，需要模型对许多不同的数据集执行多次训练迭代。然后，可以基于来自其所进行的执行的反馈来更新模型。一般而言，可以被访问以用于训练机器学习模型的数据越多，模型将变得越精确。

执行这种训练所需的计算能力是巨大的。因此，已经开发了一种分散式机器学习方法。在分散式学习中，网络中的设备使用其各自的训练数据协作地训练共享模型，而该训练数据不会离开设备。这具有许多优点。在网络中使用大量设备显著地提高了可用于训练的计算能力。通过基于本地存储在训练设备中的数据来训练模型，这些敏感数据可以在训练中使用而无需通过网络传送。此外，这种方法允许减轻上行链路带宽和网络覆盖的限制。

已经提出了若干种算法来实现分散式学习。Google提出的名为“联邦平均(FederatedAveraging)”的算法催生了“联邦学习”一词。该算法解决了若干个现实世界的挑战：处理不平衡和非IID(独立同分布)数据、大规模分布数据(其中设备数量多于每个设备可用于训练的数据样本的平均数量)的能力、训练所需通信的减少以及设备连接的限制。实验结果表明联邦平均算法适用于不同的模型架构：多层感知、卷积神经网络和递归神经网络。

在联邦平均算法中，服务器首先初始化神经网络模型的权重。对于每个训练回合，服务器将模型权重发送到可参与训练的部分客户端设备，并且客户端设备返回其对模型性能的评估。作为训练的一部分的每个客户端使用接收到的权重初始化神经网络模型的本地副本，并且运行一个或多个周期(epoch)(其中，1个周期＝所有可用训练样本的1轮正向传播(forward pass)+1个反向传播(backward pass))，从而产生更新权重集。然后，客户端返回对模型执行状况的某种评估以及更新权重的某种指示(例如，从服务器接收的权重与更新权重之间的差)。然后，服务器可以决定如何更新模型以提高其性能。

尽管上述分散式学习方法具有诸多优点，但是仍存在一些局限性。例如，当前的框架基于在现实部署中无效或不适合的假设或决策。作为一个示例，训练所需的客户端设备的数量通常被设置为客户端设备的总数的固定比例，其中该比例由预先进行的实验来确定。这在现实场景中可能是有问题的，因为充分训练模型所需的客户端设备的数量可以在不同的部署中以及随时间而变化。作为另一示例，选择哪些客户端设备参与训练通常在所有客户端中随机进行。然而，实际上，并非所有的客户端都必须适合于训练机器学习模型。

本公开中描述的方法、设备和系统旨在减轻这些问题中的至少一些并且提供对分散式机器学习的改进。

发明内容