[发明专利]去中心化分布式深度学习

权利要求书

1.一种用于由一个或多个处理器在计算环境中进行去中心化分布式深度学习的方法，包括：

通过为多个节点中的每个节点生成邻居节点列表并且根据权重管理操作创建用于连续通信的第一线程以及为每个节点的梯度的连续计算创建第二线程来执行一个或多个机器学习模型的异步分布式训练，其中一个或一个以上变量在所述第一线程与所述第二线程之间共享。

2.根据权利要求1所述的方法，进一步包括定义所述权重管理操作以包括：

应用从获得的第二线程的所述邻居节点列表中选择的节点的梯度以获得所述选择的节点的更新的权重；

将所述梯度设置为等于零值；

从所述邻居节点列表中选择邻居节点；或者

与所选择的邻居节点交换权重并对所交换的权重求平均以生成加权向量。

3.根据权利要求1所述的方法，进一步包括：为所述节点中的每个节点定义所述第二线程的所述梯度的所述连续计算以包括：

基于所选择的节点的输入数据，连续地确定来自所述邻居节点列表的所选择的节点的梯度；

将所选择的节点的所确定的梯度发送到所述第一线程；

将从所述第一线程接收的加权向量分配给所述所选择的节点的当前权重。

4.根据权利要求1所述的方法，进一步包括：由包括在所述邻居节点列表中的每个节点维护多个所需属性，其中，所述多个所需属性包括连接属性、传播属性、无死锁属性、以及数据一致性属性。

5.根据权利要求1所述的方法，还包括：检测所述邻居节点列表中的所述多个节点或链路中的一个或多个节点或链路的一个或多个故障。

6.根据权利要求1所述的方法，还包括：当在时间段到期之前未能从所述邻居节点接收到通信响应时，跳过所述邻居节点列表中的邻居节点。

7.权利要求1的方法，进一步包括：当一个或多个权重被发送并被平均以维持数据一致性时，限制权重在所述邻居节点列表中的所选节点处被更新。

8.一种用于计算环境中的去中心化分布式深度学习的系统，包括：

具有可执行指令的一个或多个计算机，所述可执行指令在被执行时使得所述系统：

通过为多个节点中的每个节点生成邻居节点列表并且根据权重管理操作创建用于连续通信的第一线程以及为每个节点的梯度的连续计算创建第二线程来执行一个或多个机器学习模型的异步分布式训练，其中一个或一个以上变量在所述第一线程与所述第二线程之间共享。

9.根据权利要求8所述的系统，其中，所述可执行指令进一步定义所述权重管理操作以包括：

应用从获得的第二线程的所述邻居节点列表中选择的节点的梯度以获得所述选择的节点的更新的权重；

将所述梯度设置为等于零值；

从所述邻居节点列表中选择邻居节点；或者

与所选择的邻居节点交换权重并对所交换的权重求平均以生成加权向量。

10.根据权利要求8所述的系统，其中，所述可执行指令进一步为所述节点中的每个节点定义所述第二线程的所述梯度的所述连续计算以包括：

基于所选择的节点的输入数据，连续地确定来自所述邻居节点列表的所选择的节点的梯度；

将所选择的节点的所确定的梯度发送到所述第一线程；

将从所述第一线程接收的加权向量分配给所述所选择的节点的当前权重。

11.根据权利要求8所述的系统，其中，所述可执行指令进一步维持所述邻居节点列表中所包括的每个节点的多个所需属性，其中，所述多个所需属性包括连接性属性、传播属性、无死锁属性、以及数据一致性属性。

12.根据权利要求8所述的系统，其中，所述可执行指令进一步检测所述邻居节点列表中的所述多个节点或链路中的一个或多个节点或链路的一个或多个故障。