[发明专利]一种分布式深度学习系统中具有低通信开销和高统计效率的训练模型的方法

说明书

本发明公开了一种分布式深度学习系统中具有低通信开销和高统计效率的训练模型的方法，所述方法包括：运行时数据收集器在运行时采集自适应通信间隔所需的通信时间t_cm和计算时间t_cp数据，自适应通信间隔选择器通过上述采集获得的通信时间和计算时间数据自动调整通信间隔τ；对模型进行迭代训练，在每一轮迭代中采用纠正技术更新本地模型；每隔τ轮迭代利用跳过通信策略更新全局模型。本发明通过采集的数据自适应地选择一个通信间隔τ，基于该通信间隔τ，系统每隔τ轮迭代通过网络通信来更新一次全局模型，从而降低了网络通信开销，最终缩短了训练模型的时间。

技术领域

本发明属于分布式深度学习领域，涉及一种分布式深度学习系统中面向同步数据并行的具有低通信开销和高统计效率的训练模型的方法。

背景技术

在面向同步数据并行的模型训练中，分布式深度学习系统在集群中启动多个训练进程，每个训练进程拥有一个完整的模型备份。同时，分布式深度学习系统将整个数据集划分为若干个数据分片，并将所有的数据分片分配到各个训练进程中。模型训练的整个过程由一系列迭代组成，在每一轮迭代中，各个训练进程从分配到的数据分片中选取出一批数据，在模型上计算出参数更新。为了同步所有数据分片上的参数更新，训练进程之间通常借助Parameter Server或AllReduce通信架构来聚合所有训练进程上的参数更新。基于聚合后的参数更新，各个训练进程对模型的参数进行更新。然而，对模型参数进行更新的具体过程是由训练模型的方法所决定的，不同的训练模型的方法对应不同的更新过程。目前，分布式深度学习系统中面向同步数据并行的训练模型的方法主要有SSGD、SkipSSGD、LocalSGD和SMA四种。

SSGD是分布式深度学习系统中广泛采用的训练模型的方法。SSGD在每轮迭代中都通过网络通信来聚合每个训练进程在一批数据上计算所得的梯度，并根据聚合后的梯度来更新模型。图1显示了采用SSGD方法训练模型过程中三轮连续的迭代。在第10轮迭代中，两个训练进程基于模型w₁₀分别计算出梯度和然后通过网络通信聚合梯度和并计算出平均梯度。接着，SSGD利用平均梯度将模型从w₁₀更新为w₁₁，完成模型的更新后，SSGD就进入下一轮迭代。由于每一轮迭代都涉及网络通信，SSGD方法在分布式环境中通常存在通信瓶颈。

在SSGD的基础上，SkipSSGD采用了一种跳过通信策略来更新模型。SkipSSGD不在每一轮迭代中都通过网络通信来聚合梯度，而是每隔τ轮迭代才进行一次通信，从而大大降低了通信开销。为了在跳过通信的同时保留已得到的梯度信息，SkipSSGD在每个训练进程中维护了一个梯度累加器用于保存梯度信息。每隔τ轮迭代，SkipSSGD通过一次网络通信来聚合各个累加器中的梯度，并根据聚合后的梯度来更新模型。图2显示了τ＝3的SkipSSGD方法训练模型过程中三轮连续的迭代。基于模型w₁₀，两个训练进程在第10、11和12轮迭代中分别计算出梯度和并将这些梯度累加到各自的梯度累加器中。完成连续三轮迭代的梯度累加后，SkipSSGD通过一次网络通信来聚合这些累加的梯度，并将模型从w₁₀更新为w₁₁。虽然SkipSSGD降低了通信开销，但是累加梯度的方式会造成大的批量大小，进而导致低的统计效率。