[发明专利]通信避免方法、装置、电子设备和存储介质

说明书

本申请的实施例提供了一种通信避免方法、装置、电子设备和存储介质，该方法包括：确定训练神经网络模型每层的计算过程的统一表达形式；基于涉及训练神经网络模型的计算过程的所有进程数量，将变量矩阵重复Pr次且使每个进程持有变量矩阵的1/Pc块、参数矩阵重复Pc次且使每个进程持有参数矩阵的1/Pr块；基于统一表达形式、变量矩阵的划分结果以及参数矩阵的划分结果确定训练神经网络模型时的通信复杂度，并调整Pc和Pr使得通信复杂度最优，以通信复杂度最优的方式来进行通信。本申请能够有效减少处理器间通信量。

技术领域

本申请的实施例涉及通信技术领域，尤其涉及一种通信避免方法、装置、电子设备和存储介质。

背景技术

目前神经网络模型训练的算法研究已得到了发展，但是其通信优化仍是研究难点，也是提升计算性能的关键。由于神经网络模型训练涉及大量数据样本传输与模型参数更新，因此处理器间的数据传输十分频繁。

一方面，为了减少处理间的分布式通信开销，目前最具代表性的方法有“量化”、“剪枝”和“梯度压缩”等。这些方法的核心思想是通过减少每次通信中发送数据的大小来降低通信量。虽然它们在目前的模型训练中被广泛采用，但是这些方法都会或多或少地以牺牲计算精度为代价，并且有时需要某些特殊的预处理来保证模型的准确性。

另一方面，为了获得更高的计算效率，“数据并行”、“模型并行”等多种并行策略被陆续提出，并得到了深入的研究。研究的重点主要关注的是通过寻找计算操作与通信操作的最佳适配来重叠通信与计算、掩盖延迟开销从而获得较高的计算性能。

然而，由于神经网络的训练过程中数据传递操作频繁、数据传输时间占比大，因此试图通过重叠通信操作与计算操作来提升扩展性的现有技术难以取得较好的优化效果。此外，值得一提的是，大部分并行训练优化的研究工作几乎都只是考虑一些相对简化的模型和比较简单的情况。针对大模型训练的并行优化，并行策略的设计几乎全凭经验，并且相关工作并没有解决如何有效减少通信次数的瓶颈问题。

发明内容

为了改善训练神经网络模型时的通信复杂度，本申请的实施例提供了一种通信避免方法、装置、电子设备和存储介质。

在第一方面，本申请提供了一种通信避免方法，包括：

确定训练神经网络模型每层的计算过程的统一表达形式，所述统一表达形式为变量矩阵和参数矩阵的相互关系；

基于涉及训练神经网络模型的计算过程的所有进程数量，将所述变量矩阵重复P_r次且使每个进程持有所述变量矩阵的1/P_c块、所述参数矩阵重复P_c次且使每个进程持有所述参数矩阵的1/P_r块，其中P_c和P_r的乘积等于所有进程数量；

基于所述统一表达形式、所述变量矩阵的划分结果以及所述参数矩阵的划分结果确定训练神经网络模型时的通信复杂度，并调整P_c和P_r使得所述通信复杂度最优，以所述通信复杂度最优的方式来进行通信。

在一种可能的实现方式中，所述确定训练神经网络模型每层的计算过程的统一表达形式包括：

确定训练神经网络模型过程中前向传递的表达形式为：

Y_i＝W_iX_i、X_i+1＝f(Y_i)