[发明专利]一种分布式深度学习系统中具有低通信开销和高统计效率的训练模型的方法

摘要

本发明公开了一种分布式深度学习系统中具有低通信开销和高统计效率的训练模型的方法，所述方法包括：运行时数据收集器在运行时采集自适应通信间隔所需的通信时间tcm和计算时间tcp数据，自适应通信间隔选择器通过上述采集获得的通信时间和计算时间数据自动调整通信间隔τ；对模型进行迭代训练，在每一轮迭代中采用纠正技术更新本地模型；每隔τ轮迭代利用跳过通信策略更新全局模型。本发明通过采集的数据自适应地选择一个通信间隔τ，基于该通信间隔τ，系统每隔τ轮迭代通过网络通信来更新一次全局模型，从而降低了网络通信开销，最终缩短了训练模型的时间。