[发明专利]去中心化分布式深度学习

说明书

提供了用于由计算系统中的一个或多个处理器进行去中心化分布式深度学习的不同实施例。一个或多个机器学习模型的异步分布式训练可以通过以下方式来执行：为多个节点中的每个节点生成邻居节点的列表，并且根据权重管理操作来创建用于连续通信的第一线程，以及创建用于每个节点的梯度的连续计算的第二线程。在第一线程和第二线程之间共享一个或多个变量。

技术领域

本发明总体上涉及计算系统，并且更具体地涉及用于使用计算处理器的计算系统中的去中心化(decentralized)分布式深度学习的不同实施例。

背景技术

计算系统可以在工作场所、在家或在学校中找到。由于信息技术的最新进步和互联网的日益普及，在机器学习中已经使用了各种各样的计算机系统。机器学习是用于允许计算机基于经验数据进化行为的人工智能的形式。机器学习可以利用训练示例来捕获它们的未知基础概率分布的感兴趣的特性。训练数据可以被视为示出观察变量之间的关系的示例。机器学习研究的主要焦点是自动学习以识别复杂模式(patterns)并且基于数据做出智能决策。

发明概述

提供了用于由计算系统中的一个或多个处理器进行去中心化分布式深度学习的不同实施例。在一个实施例中，仅通过示例的方式，提供了一种用于再次由处理器在计算系统中进行去中心化分布式深度学习的方法。一个或多个机器学习模型的异步分布式训练可以通过以下方式来执行：为多个节点中的每个节点生成邻居节点的列表，并且根据权重管理操作来创建用于连续通信的第一线程，以及创建用于每个节点的梯度的连续计算的第二线程。在第一线程和第二线程之间共享一个或多个变量。

附图说明

为了容易理解本发明的优点，将通过参考在附图中示出的具体实施例呈现以上简要描述的本发明的更具体的描述。应理解，这些附图仅描绘了本发明的典型实施例，并且因此不被认为是对其范围的限制，将通过使用附图用另外的具体性和细节来描述和解释本发明，在附图中：

图1是示出根据本发明的实施例的示范性云计算节点的框图；

图2是示出根据本发明的实施例的示范性云计算环境的附加框图；

图3是描述根据本发明实施例的抽象模型层的附加框图；

图4是描绘根据本发明的另一实施例的深度学习系统的另外的框图；

图5是描绘根据本发明的方面的描绘不同用户硬件和计算组件的另外的框图；

图6是描述根据本发明的实施例的用于去中心化分布式深度学习的邻居列表的另外的框图；

图7A-7B是示出根据本发明的实施例的用于生成用于去中心化分布式深度学习的邻居列表的操作的图；

图8A-8B是描绘根据本发明的实施例的来自去中心化分布式深度学习的操作结果的曲线图；并且

图9是描绘可在其中实现本发明的各方面的根据本发明实施例的由处理器在计算环境进行去中心化分布式深度学习的示范性方法的流程图。

具体实施方式

本发明总体上涉及深度学习领域，并且更具体地涉及在深度学习实施中执行多缩减(reduction)。深度学习指的是基于对数据集的特征或表示(representations)的多个级别的学习的一类机器学习算法。当前的深度学习方法包括使用多层非线性处理单元的级联来进行特征提取和变换。特征提取是指接收测量数据的初始集合并且构建导出值(或特征)以促进后续学习和概括步骤的过程。在许多情况下，较高级特征从较低级特征导出以生成测量数据和导出特征的分层表示。