[发明专利]一种分布式并行训练的方法、设备及可读介质

说明书

本发明公开了一种分布式并行训练的方法，包括以下步骤：为多个进程分配GPU；将多个进程下的多个GPU设置为采用相同的优化器和网络状态参数；在多个进程下，将训练模型的不同网络层分配到不同的GPU上；以及将训练集分配到多个进程，并通过多个进程下的多个GPU并行进行训练。本发明还公开了一种计算机设备和可读存储介质。本发明通过将训练模型的不同训练层分配到不同的GPU上实现模型并行训练，并将数据分配给不同线程上实现数据并行训练，不同线程分配多个GPU进行训练，实现了模型并行和数据并行混合训练，提高数据处理效率。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种分布式并行训练的方法、设备及可读介质。

背景技术

随着科学计算技术的发展，神经网络已经取得了飞速的发展，同时由于GPU的可编程性不断增强，GPU的应用能力已经远远超出了图形渲染任务，而不断应用到新的领域,由于GPU出色的并行处理能力，GPU被广泛的应用到神经网络的训练和推理。

在GPU训练方面，主要有两种训练方式，一种是模型并行训练，一种是数据并行训练，其中模型并行训练主要把模型中的不同层分配到不同的GPU上，流水线式的进行训练模型的权重。而数据并行是所有的GPU共享一个模型，然后把数据分配到不同的GPU上，彼此GPU之间进行权重的同步来进行训练。模型并行和数据并行各有各自的优缺点，模型并行相对来说通信的数据量大，不利于提升训练时GPU的效率，而数据并行只适应模型相对小的网络，训练大的网络结构时会出现显存不够用的情况。

目前有多种网络架构支持神经网络训练，包括tensorflow、pytorch等架构，但是大多数都是偏向采用数据并行的方式来训练神经网络，而且普遍进行训练的效率不是特别高，以tensorflow为例，在使用标准tensorflow在128块Pascal GPU上进行测试时，无论是Inception V3还是ResNet-101都浪费了将近一半GPU算力。

发明内容

有鉴于此，本发明实施例的目的在于提出一种分布式并行训练的方法、设备及可读介质，通过将训练模型的不同训练层分配到不同的GPU上实现模型并行训练，并将数据分配给不同线程上实现数据并行训练，不同线程分配多个GPU进行训练，实现了模型并行和数据并行混合训练，提高数据处理效率。

基于上述目的，本发明实施例的一方面提供了一种分布式并行训练的方法，包括如下步骤：为多个进程分配GPU；将多个进程下的多个GPU设置为采用相同的优化器和网络状态参数；在多个进程下，将训练模型的不同网络层分配到不同的GPU上；以及将训练集分配到多个进程，并通过多个进程下的多个GPU并行进行训练。

在一些实施方式中，为多个进程分配GPU包括：获取环境变量信息以得到GPU的使用列表；基于GPU的使用列表为多个进程分配GPU。

在一些实施方式中，为多个进程分配GPU包括：调用库函数获取GPU的数目，并设置GPU的使用列表；基于GPU的使用列表为多个进程分配GPU。

在一些实施方式中，将训练模型的不同网络层分配到不同的GPU上包括：基于训练模型的不同网络层的计算强度分配不同数量的GPU；将处理相同网络层的GPU之间并联；将处理不同网络层的GPU之间串联。

在一些实施方式中，将训练集分配到多个进程包括：将训练集的数据平均分配并发送到多个进程上。

本发明实施例的另一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现以下步骤：为多个进程分配GPU；将多个进程下的多个GPU设置为采用相同的优化器和网络状态参数；在多个进程下，将训练模型的不同网络层分配到不同的GPU上；以及将训练集分配到多个进程，并通过多个进程下的多个GPU并行进行训练。