[发明专利]具有压缩和延迟补偿的分布式随机梯度下降方法

权利要求书

1.一种具有压缩和延迟补偿的分布式随机梯度下降方法，其特征在于，其利用参数服务器和计算节点来实现，计算节点负责进行梯度以及本地权重的计算，而参数服务器则用于接收并聚合来自所有的计算节点的梯度然后进行梯度更新，参数服务器与计算节点之间的数据交互采用了PS架构的一对多模式，本方法的具体步骤包括：

首先进行预热训练，其包括步骤S1、步骤S2和步骤S3；

S1，从参数服务器端取回t-1时刻全局权重W_i-1；

S2，利用t-1时刻全局权重W_i-1，在每个计算节点中计算t-1时刻的本地梯度，第j个计算节点的t-1时刻本地梯度值Grad_j,i-1的计算公式为：

Grad_j,i-1＝grad_cal(W_i-1,X_j,Y_j)，1≤j≤N (1)

其中，grad_cal为梯度计算的函数，其利用全局权重W_i-1和存放在第j个计算节点的输入的样本特征X_j来计算出预测结果Y_j’，由预测结果Y_j’和标签Y_j计算出损失值loss，再对损失值loss求导，即得到第j个计算节点的t-1时刻本地梯度值Grad_j,i-1；

S3，各个计算节点将计算得到的本地梯度值推送到参数服务器，并利用计算得到的本地梯度值对t-1时刻全局权重W_i-1进行更新，得到t时刻的全局权重W_i：

其中η是超参数学习率，N为计算节点个数；

预热训练阶段对步骤S1到S3重复若干次数；

预热训练结束后，进行过渡训练，其包括步骤S4和步骤S5；

S4，对从参数服务器端取回的t时刻全局权重W_i进行备份，将其保存到备份权重变量loc_weight中，则t时刻各个计算节点的本地权重W_i^loc均等于t时刻全局权重W_i，也等于备份权重loc_weight；在每个计算节点中，计算每个计算节点的t时刻本地梯度,第j个计算节点的t时刻本地梯度值Grad_j,i的计算表达式为：

Grad_j,i＝grad_cal(W_i,X_j,Y_j)，1≤j≤N (3)

S5,在各个计算节点，利用计算得到的t时刻本地梯度Grad_j,i来对W_i更新，产生t+1时刻的本地权重W_i+1^loc：

在对本地权重W_i+1^loc进行计算的同时，各个计算节点把计算得到的t时刻的本地梯度上传到参数服务器，并利用计算得到的t时刻的本地梯度值对t时刻全局权重W_i进行更新，得到t+1时刻的全局权重W_i+1：

将得到的t+1时刻的全局权重W_i+1备份到权重变量loc_weight中；

过渡训练结束后，进行正式训练，其包括步骤S6、步骤S7和步骤S8；

S6,在得到本地权重W_i+1^loc之后，各个计算节点立即开始计算t+1时刻的本地梯度Grad_j,i+1：

Grad_j,i+1＝grad_cal(W_i+1^loc,X_j,Y_j)， (6)

S7,各个计算节点计算得到t+1时刻的本地梯度之后，将t+1时刻本地梯度Grad_j,i+1的2比特格式数据存放在变量Sgrad_j中，与此同时，利用t+1时刻本地梯度Grad_j,i+1来对t+1时刻全局权重W_i+1进行更新，得到t+2时刻的本地权重W_i+2^loc：

S8,各个计算节点将变量Sgrad_j的数据推送到参数服务器，由参数服务器计算t+2时刻全局权重W_i+2，并将其备份到权重变量loc_weight，t+2时刻全局权重W_i+2的计算公式为：

与此同时，在得到t+2时刻的本地权重W_i+2^loc之后，利用公式(6)，用W_i+2^loc计算t+2时刻各个计算节点的本地梯度Grad_j,i+2，1≤j≤N；

正式训练结束后，进行补偿训练，其包括步骤S9；

S9，在每进行k次全局权重计算的过程中，前k-1次采用正式训练的模式，每进行k次迭代时，进行一次补偿计算，补偿计算是用某一时刻的本地梯度Grad_j取代变量Sgrad_j后，再利用公式(8)计算全局权重；

在完成由预热训练向正式训练过渡之后，即反复重复步骤S7、S8和S9的操作，直到执行完毕使用者指定的训练Epoch数量。