[发明专利]基于动量和剪枝的分布式深度学习系统

权利要求书

1.一种基于动量和剪枝的分布式深度学习系统，其特征在于，包括如下步骤：

(1)采用spark分布式集群，搭建spark开发环境，每台集群机器配置Caffe深度学习环境，spark分布式集群包括一个主控制节点和多个分别与主控制节点通信连接的工作节点；

(2)将需要处理的数据进行加载，在HDFS下经过spark进行数据处理，转化为Caffe特定LMDB格式，并将数据均匀划分并分布到各工作节点上；

(3)对每个工作节点存储的数据，创建深度学习模型，并根据每个工作节点本地存储的数据进行分批次并行深度学习模型的向前向后传播训练；

(4)前期采用随机梯度下降算法方法，后期采用动量梯度下降法计算工作节点本地权值参数的更新量，传送至主控制节点，与主控制节点全局权值参数进行交互通信；主控制节点记录工作节点的节点信息，包括该工作节点的本地权值参数的更新量，将所得工作节点的本地权值参数平衡后回传至各对应工作节点；

(5)各工作节点继续下一个批次数据训练，主控制节点进行模型参数平衡，重复上述训练模型直到达到迭代次数或收敛条件。

2.根据权利要求1所述的基于动量和剪枝的分布式深度学习系统，其特征在于，步骤(3)中每个节点创建相同的深度学习模型，且每个工作节点对任意一个批次数据中的每条数据都进行了深度学习模型的一个向前向后传播计算。

3.根据权利要求2所述的基于动量和剪枝的分布式深度学习系统，其特征在于，步骤(3)中深度学习模型的向前向后传播计算过程为：

向前传播阶段：从训练集中的随机抽取一批容量为m的样本集{x₁,…,x_m}，以及相对应的理想输出为{y₁,…,y_m}，从样本集中随机选取一个样本(x_p，y_p)，1≤p≤m；将x_p输入网络，计算相应的实际输出O_p，O_P＝F_n(…(F₂(F₁(x_pW⁽¹⁾)W⁽²⁾)…)W⁽ⁿ⁾，其中，F_n表示对应输出层的Sigmoid函数，W⁽ⁿ⁾为对应层输出的权值矩阵；

向后传播阶段：引入动量方法计算实际输出O_P与相应的理想输出y_p的误差和按极小化误差的方法反向传播调整权值矩阵。

4.根据权利要求3所述的基于动量和剪枝的分布式深度学习系统，其特征在于，步骤(4)中工作节点的本地权值参数和主控制节点全局权值参数交互通信的具体过程为：

(1)主控制节点初始化全局权值参数每个工作节点向主控制节点请求初始化全局权值参数用于初始化工作节点的本地权值参数w_k，其中k表示请求初始化全局权值参数的工作节点的序号；

(2)每个工作节点上采用动量梯度下降优化器，在各自的节点数据上进行模型训练，更新本地权值参数w_k；

(3)当工作节点上的时钟周期条件T满足时，深度学习模型训练暂停，每个工作节点计算本地权值参数w_k和全局权值参数的误差，即生成权值矩阵μ，对权值矩阵μ进行初始化压缩，并向主控制节点发送被压缩后的本地权值参数

(4)主控制节点接收到多个工作节点提交的本地权值参数后，进行均值计算，更新全局权值参数

(5)工作节点请求主控制节点返回全局权值参数更新本地权值参数w_k；

(6)重复步骤(2)至步骤(5)直到训练模型收敛或满足迭代终止条件。