[发明专利]优化深度学习网络的运行过程的方法、装置及存储介质

说明书

本申请公开了一种优化深度学习网络的运行过程的方法、装置及存储介质，属于深度学习领域。在本申请中，确定深度学习网络中包括的多个计算层对应的多种运行顺序，然后确定每种运行顺序所需的内存开销，进而根据每种运行顺序所需的内存开销，确定多个计算层的最优运行顺序。由于多个计算层的最优运行顺序是通过不同的运行顺序所需的内存开销来进行确定的，因此，根据最优运行顺序来运行深度学习网络，可以有效地减少深度学习网络的内存开销，也即可以使内存优化的效果更加显著。

技术领域

本申请涉及深度学习领域，特别涉及一种优化深度学习网络的运行过程的方法、装置及存储介质。

背景技术

随着深度学习技术的快速发展，基于深度学习技术构建的深度学习网络越来越庞大，在采用深度学习网络进行数据分析时所占用的内存也越来越大。基于此，目前常采用内存复用技术来减少深度学习网络运行过程中所占用的内存。其中，深度学习网络包括多个计算层，所谓采用内存复用技术是指：在按照每个计算层的编写顺序进行前向推理的过程中，任一计算层在进行运算时先从内存中读取该计算层的输入数据，根据输入数据进行运算，并输出数据，将输出的数据存入内存。若内存中的某些数据不再被位于该计算层之后的其他计算层所需要时，则可以将这部分数据所占用的内存进行释放，以便位于该计算层之后的其他计算层在进行运算时可以复用该部分内存。

然而，目前仅采用内存复用技术来降低深度学习网络的内存开销的幅度较为有限，也即内存优化的效果有限。因此，亟需提供一种更有效的方案，来使深度学习网络所占用的内存进一步降低，以提高内存优化效果。

发明内容

本申请实施例提供了一种优化深度学习网络的运行过程的方法、装置及存储介质，可以解决相关技术中深度学习网络的内存开销降低的幅度有限的问题。

所述技术方案如下：

一方面，提供了一种优化深度学习网络的运行过程的方法，所述方法包括：

根据深度学习网络包括的多个计算层中每个计算层的输入数据的来源，确定多种运行顺序，所述多种运行顺序中的每种运行顺序用于指示运行所述多个计算层的一种顺序；

确定所述多种运行顺序中每种运行顺序所需的内存开销；

根据所述多种运行顺序中每种运行顺序所需的内存开销，确定所述多个计算层的最优运行顺序。

可选地，所述根据深度学习网络包括的多个计算层中每个计算层的输入数据的来源，确定多种运行顺序，包括：

对所述深度学习网络进行拆分，得到多个子网络；

根据每个子网络包括的每个计算层的输入数据的来源，确定每个子网络对应的一种或多种运行顺序，所述一种或多种运行顺序中的每种运行顺序用于指示运行相应子网络包括的计算层的一种顺序；

将针对所述多个子网络确定得到的运行顺序，作为所述多种运行顺序。

可选地，所述对所述深度学习网络进行拆分，得到多个子网络，包括：

按照所述多个计算层的先后顺序，从所述多个计算层中确定一个或多个分支开始层和一个或多个分支结束层，每个分支开始层的输出数据为两个或两个以上的其他计算层的输入数据，每个分支结束层的输入数据来自两个或两个以上的其他计算层，或者，每个分支结束层后不存在其他计算层；

根据所述一个或多个分支开始层和所述一个或多个分支结束层，对所述深度学习网络进行拆分，得到所述多个子网络。

可选地，所述确定所述多种运行顺序中每种运行顺序所需的内存开销，包括：

确定每个子网络对应的一种或多种运行顺序中每种运行顺序所需的内存开销。

可选地，所述确定每个子网络对应的一种或多种运行顺序中每种运行顺序所需的内存开销，包括：