[发明专利]通信避免方法、装置、电子设备和存储介质

权利要求书

1.一种通信避免方法，其特征在于，包括：

确定训练神经网络模型每层的计算过程的统一表达形式，所述统一表达形式为变量矩阵和参数矩阵的相互关系；

基于涉及训练神经网络模型的计算过程的所有进程数量，将所述变量矩阵重复Pr次且使每个进程持有所述变量矩阵的1/Pc块、所述参数矩阵重复Pc次且使每个进程持有所述参数矩阵的1/Pr块，其中Pc和Pr的乘积等于所有进程数量；

基于所述统一表达形式、所述变量矩阵的划分结果以及所述参数矩阵的划分结果确定训练神经网络模型时的通信复杂度，并调整Pc和Pr使得所述通信复杂度最优，以所述通信复杂度最优的方式来进行通信；

其中，所述确定训练神经网络模型每层的计算过程的统一表达形式包括：

确定训练神经网络模型过程中前向传递的表达形式为：

Y_i＝W_iX_i、X_i+1＝f(Y_i)

其中，的每列表示神经网络模型第i层的输入变量，的每列表示神经网络模型第i层的输出变量，的每列表示从第i-1层到第i层之间的神经网络模型的权重参数，Y_i 为神经网络模型的输出变量矩阵，W_i 为神经网络模型的权重参数矩阵，X_i 为神经网络模型的输入变量矩阵，f为神经网络模型的损失函数，i为神经网络模型的层数，d_i 为神经网络模型的神经元个数，B为集合Batch中元素的个数，Batch为索引指标集；

确定训练神经网络模型过程中反向传递的表达形式为：

其中，为损失函数关于输入变量矩阵的梯度矩阵，为损失函数关于输出变量矩阵的梯度矩阵，为损失函数关于神经网络模型每层的权重参数矩阵的梯度矩阵；

由于非线性变换X_i+1＝f(Y_i)的计算不涉及通信，那么，

确定Y_i＝W_iX_i、以及为训练神经网络模型每层的计算过程的统一表达形式；

其中，所述基于所述统一表达形式、所述变量矩阵的划分结果以及所述参数矩阵的划分结果确定训练神经网络模型时的通信复杂度包括：

通过下式确定所述通信复杂度：

其中，T为通信复杂度，L为神经网络模型的层数，P为涉及训练神经网络模型的计算过程的所有进程数，α为网络延迟，β为带宽的倒数，B为Batch中元素的个数，Batch为随机索引指标集，d_i 为神经网络模型的神经元个数，∣W_i ∣为神经网络模型第i层中模型参数的总数。

2.根据权利要求1所述的方法，其特征在于，所述基于涉及训练神经网络模型的计算过程的所有进程数量，将所述变量矩阵重复Pr次且使每个进程持有所述变量矩阵的1/Pc块、所述参数矩阵重复Pc次且使每个进程持有所述参数矩阵的1/Pr块包括：

将输入变量矩阵重复Pr次且使每个进程持有输入变量矩阵的1/Pc块；

将输出变量矩阵重复Pr次且使每个进程持有输出变量矩阵的1/Pc块；

将权重参数矩阵重复Pc次且使每个进程持有权重参数矩阵的1/Pr块；

将损失函数关于输入变量矩阵的梯度矩阵重复Pr次且使每个进程持有损失函数关于输入变量矩阵的梯度矩阵的1/Pc块；

将损失函数关于输出变量矩阵的梯度矩阵重复Pr次且使每个进程持有损失函数关于输出变量矩阵的梯度矩阵的1/Pc块；

将损失函数关于权重参数矩阵的梯度矩阵重复Pc次且使每个进程持有重复Pc次且使每个进程持有损失函数关于权重参数矩阵的梯度矩阵的1/Pr块。