[发明专利]基于动量和剪枝的分布式深度学习系统

摘要

本发明提供一种基于动量和剪枝的分布式深度学习系统，涉及云计算与深度学习领域，采用spark分布式集群，包括一个主控制节点和多个工作节点，任一工作节点与主控制节点通过通信链路连接，工作节点存储部分训练数据；工作节点根据本地存储的训练数据批次进行深度学习模型的向前向后传播训练，获取工作节点权值参数的更新量，发送至主控制节点，与主控制节点全局权值参数进行交互通信；主控制节点记录工作节点的节点信息，将所得工作节点的权值参数平衡后传送至各工作节点；重复主控制节点和工作节点的交互通信直到达到迭代次数或收敛条件；本发明解决异步算法在分布式环境下模型收敛慢的问题，同时还提高异步算法的运算速度。

主权项

1.一种基于动量和剪枝的分布式深度学习系统，其特征在于，包括如下步骤：(1)采用spark分布式集群，搭建spark开发环境，每台集群机器配置Caffe深度学习环境，spark分布式集群包括一个主控制节点和多个分别与主控制节点通信连接的工作节点；(2)将需要处理的数据进行加载，在HDFS下经过spark进行数据处理，转化为Caffe特定LMDB格式，并将数据均匀划分并分布到各工作节点上；(3)对每个工作节点存储的数据，创建训练模型，并根据每个工作节点本地存储的数据进行分批次并行深度学习模型向前向后传播训练；(4)前期采用随机梯度下降算法方法，后期采用动量梯度下降法计算工作节点本地权值参数的更新量，传送至主控制节点，与主控制节点全局权值参数进行交互通信；主控制节点记录工作节点的节点信息，包括该工作节点的本地权值参数的更新量，将所得工作节点的本地权值参数平衡后回传至各对应工作节点；(5)各工作节点继续下一个批次数据训练，主控制节点进行模型参数平衡，重复上述训练模型直到达到迭代次数或收敛条件。