[发明专利]分布式卷积神经网络细粒度的参数传输调度方法及装置

说明书

本发明实施例公开一种分布式卷积神经网络细粒度的参数传输调度方法及装置，包括：根据分布式卷积神经网络底层计算图依赖关系、资源关联图及网络属性确认接收操作的优先执行顺序，并生成操作‑优先级映射表，资源关联图为与每个操作相关联的资源标签的计算图，资源标签包括通信与计算；根据操作‑优先级映射表、以及每个接收操作相关联的通信/计算依赖关系，生成参数‑优先级映射表；建立参数服务器与每个计算节点之间的至少一个数据流，并为每个数据流分配唯一标识信息，根据标识信息生成通道‑优先级映射表；基于接收到的参数发送请求，分别查找参数‑优先级映射表和通道‑优先级映射表，根据参数的优先级分配相应优先级的网络流，将参数发送至网络设备中。

技术领域

本发明涉及网络通信技术领域，具体而言，涉及一种分布式卷积神经网络细粒度的参数传输调度方法及装置。

背景技术

在近几年的发展中，由于机器学习(Machine Learning，ML)框架的灵活开发、越来越丰富的数据集以及逐渐完善的高性能计算，人工智能领域得以发展迅猛。随着机器学习模型愈发复杂，训练深度逐渐加深，导致训练模型的计算成本超出单个机器的负荷能力，因此分布式机器学习(Distributed Machine Learning，DML)成为短时间内完成大规模的模型训练的有效解决方案之一。卷积神经网络(Convolutional Neural Network，CNN)作为ML中的一种算法，主要用于图像特征提取，已经成功应用在图像识别和自然语言处理领域。随着网络模型的日益复杂和数据集的快速增长，算法模型和输入数据愈发复杂，分布式CNN中通信量也变得巨大。

在分布式CNN模型训练中，每次迭代都是计算节点先接收到更新后的参数，然后根据各自的训练数据子集来进行计算梯度。最后，聚集不同节点的梯度以更新模型参数。因此，随着DML集群规模的增长，通信可能成为制约分布式CNN模型训练速度的瓶颈。同时随着计算端硬件加速器的快速发展，如GPU和FPGAs，频繁的参数/梯度交换很容易使网络端成为瓶颈，从而降低DML的训练性能。

发明人发现在TensorFlow是一种用图来表示计算的平台。在数据并行模式下，每个工作节点都有一套完整的模型副本和部分数据子集，即数据集被分割成多个子集。每次迭代由参与的工作节点使用相同的计算图进行处理，每次迭代通常持续几毫秒到几秒钟。在每次迭代结束时，参数服务器会聚合所有节点的梯度来更新模型参数，在此过程中服务器会交换大量数据，这种通信开销对系统的吞吐量有很大影响，也限制了模型的可扩展性。因此，如何解决由于通信量巨大而限制模型训练速度慢、效率低、延迟高等问题，是目前亟需解决。

发明内容

本发明提供了一种分布式卷积神经网络细粒度的参数传输调度方法及装置，以实现基于优先级的流传输调度机制，通过细粒度的参数传输实现模型计算和通信的高度重叠，基于优先级的流传输机制，降低了突发流量对模型性能的影响。具体的技术方案如下：

第一方面，本发明实施例提供了一种分布式卷积神经网络细粒度的参数传输调度方法，所述方法包括：

根据分布式卷积神经网络底层计算图依赖关系、资源关联图及网络属性确认接收操作的优先执行顺序，并生成操作-优先级映射表，所述资源关联图为与每个操作相关联的资源标签的计算图，所述资源标签包括通信与计算；

根据所述操作-优先级映射表、以及每个接收操作相关联的通信/计算依赖关系，生成参数-优先级映射表；

建立参数服务器与每个计算节点之间的至少一个数据流，并为每个数据流分配唯一标识信息，根据所述标识信息生成通道-优先级映射表；

基于接收到的参数发送请求，分别查找所述参数-优先级映射表和所述通道-优先级映射表，根据所述参数的优先级以及通道，将所述参数发送至网络设备中。

可选的，所述方法还包括：

根据每个操作的执行时间，计算所有操作的执行时间上限；