[发明专利]一种深度学习的参数交换方法、装置、服务器及存储介质

说明书

本发明实施例涉及工智能技术领域，公开了一种深度学习的参数交换方法、装置、服务器及存储介质。本发明中，包括：获取匹配的训练数据；根据匹配的训练数据和已知的第一权值进行训练，获得第一训练参数；将第一训练参数压缩后与其它处理器进行交换获得第二训练参数。在利用处理器对深度学习网络进行训练时，通过获取匹配的训练数据和已知的第一权值进行训练，获得第一训练参数，将第一训练参数压缩后与其它处理器进行交换获得第二训练参数，通过压缩后再进行传输的方式提高了处理器之间进行参数交换的速度，从而节省了参数交换时所耗费的时长。

技术领域

本发明实施例涉及人工智能技术领域，特别涉及一种深度学习的参数交换方法、装置、服务器及存储介质。

背景技术

深度学习网络是近年来机器学习领域中的研究热点，在各个行业产生了广泛的应用。深度学习网络具有深层结构、数千万参数需要学习，这导致非常耗时。图像处理器(Graphics Processing Unit，GPU)有强大的计算能力，适合于加速深度学习网络训练。目前用于深度学习网络的加速方式主要有数据并行和模型并行两种，并且现在主流的计算框架一般都支持数据并行方式。数据并行方式下每个GPU设备训练多次迭代，需要将参数交换到其它GPU设备上，所以如何提高单节点多GPU以及多节点多GPU的参数交换的效率成为重点。

发明人发现现有技术中至少存在如下问题：现有技术中在根据数据集进行训练时，一般采用同步或者异步的方式进行参数交换，提高参数交换的性能，但每次都需要交换模型的全部参数，如果在模型较大的情况下，尤其是在跨节点通过网络来进行交换的情况下，交换所耗费的时长会成为整个模型训练的瓶颈。

发明内容

本发明实施方式的目的在于提供一种深度学习的参数交换方法、装置、服务器及存储介质，使得利用处理器对深度学习网络进行训练时，提高了处理器之间进行参数交换的速度，从而节省了参数交换时所耗费的时长。

为解决上述技术问题，本发明的实施方式提供了一种深度学习的参数交换方法，包括以下步骤：获取匹配的训练数据；根据匹配的训练数据和已知的第一权值进行训练，获得第一训练参数；将第一训练参数压缩后与其它处理器进行交换获得第二训练参数。

本发明的实施方式还提供了一种参数交换装置，包括：获取模块，用于获取匹配的训练数据；训练模块，用于根据匹配的训练数据和第一权值进行训练，获得第一训练参数；参数交换模块，用于将第一训练参数压缩后进行交换获得第二训练参数。

本发明的实施方式还提供了一种服务器，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的深度学习的参数交换方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的深度学习的参数交换方法。

本发明实施方式相对于现有技术而言，在利用处理器对深度学习网络进行训练时，通过获取匹配的训练数据和已知的第一权值进行训练，获得第一训练参数，将第一训练参数压缩后与其它处理器进行交换获得第二训练参数，通过压缩后再进行传输的方式提高了处理器之间进行参数交换的速度，从而节省了参数交换时所耗费的时长。

另外，将第一训练参数压缩后与其它处理器进行交换获得第二训练参数，包括：将第一训练参数压缩后发送给同一节点内除自己外的每一个处理器，同时接收同一节点内除自己外的每一个处理器发送的压缩后的第三训练参数；将压缩后的第一训练参数和接收的压缩后的第三训练参数进行相加求平均值，获得第二训练参数。同一节点内的处理器在进行参数交换时将压缩后的第一训练训练参数发送给其它处理器，同时接收其它处理器压缩后的第一训练参数，由于处理器之间在进行参数交换时是将数据压缩后再进行的传输，因此减少了处理器所需要处理的数据量，从而提高了处理器之间进行参数交换的速度。