[发明专利]一种分布式机器学习的计算机系统

权利要求书

1.一种用于机器学习模型的分布式训练的计算机系统(100)，其特征在于，所述计算机系统(100)包括：

整体同步并行BSP系统(101)，包含中央BSP控制模块(102)和至少一个本地BSP模块(103)；多个机器学习模块(105)，第一机器学习模块与一个特定的本地BSP模块(103)相关联，所述第一机器学习模块为多个机器学习模块(105)中的任意机器学习模块(105)；

共享内存模块(104)，与本地BSP模块(103)和第一机器学习模块这一对模块相关联；

其中，所述中央BSP控制模块(102)用于指示所述至少一个本地BSP模块(103)将本地模型存储在其相关联的共享内存模块(104)；

其中，所述第一机器学习模块用于从其相关联的共享内存模块(104)读取所述本地模型；

基于所述本地模型计算梯度；

在梯度计算之后立即将所述梯度聚合成其相关联的共享内存模块(104)中的聚合梯度；

其中，所述中央BSP控制模块(102)还用于指示所述至少一个本地BSP模块(103)周期性地读出其相关联的共享内存模块(104)中的所述聚合梯度；

所述至少一个本地BSP模块(103)还用于与参数服务器PS进行通信以接收将被存储为所述本地模型的PS模型；以及在每个周期性地读出共享内存模块(104)中的所述聚合梯度的步骤之后，

所述中央BSP控制模块(102)还用于指示相关联的本地BSP模块(103)向所述PS提供所述聚合梯度以更新所述PS中的所述PS模型。

2.根据权利要求1所述的计算机系统(100)，其特征在于，

所述第一机器学习模块用于：

基于所述本地模型计算多个梯度；

将所述多个梯度聚合成存储在其相关联的共享内存模块(104)中的所述聚合梯度。

3.根据权利要求1或2所述的计算机系统(100)，其特征在于，

所述第一机器学习模块用于从所述BSP系统(101)读取训练数据；或者

所述BSP系统(101)用于通过其相关联的共享内存模块(104)将训练数据推送到所述第一机器学习模块；

所述第一机器学习模块用于基于所述本地模型和所述训练数据计算所述梯度。

4.根据权利要求1或2所述的计算机系统(100)，其特征在于，

所述中央BSP控制模块(102)用于通知所述至少一个本地BSP模块(103)驻留在PS中的更新的PS模型的可用性；

所述至少一个本地BSP模块(103)用于从所述PS下载所述更新的PS模型并且使用它来更新存储在其相关联的共享内存模块(104)中的所述本地模型。

5.根据权利要求1或2所述的计算机系统(100)，其特征在于，

所述第一机器学习模块还用于当在其相关联的共享内存模块(104)中存储所述聚合梯度时，设置梯度可用标志；

所述中央BSP控制模块(102)还用于在周期性地指示所述至少一个本地BSP模块(103)读出其相关联的共享内存模块(104)时，如果设置了所述梯度可用标志，指示所述至少一个本地BSP模块(103)仅读出聚合梯度。

6.根据权利要求1或2所述的计算机系统(100)，其特征在于，

所述中央BSP控制模块(102)还用于在其相关联的共享内存模块(104)中存储或更新所述本地模型时，指示所述至少一个本地BSP模块(103)设置模型可用标志；

所述第一机器学习模块还用于如果设置了所述模型可用标志，则从其相关联的共享内存模块(104)仅读取所述本地模型。