[发明专利]一种显存优化方法、装置、设备及存储介质

权利要求书

1.一种显存优化方法，其特征在于，所述方法包括：

基于预设网络模型，生成第一计算图；

确定所述第一计算图的显存峰值与运行数据之间的关联关系；

基于所述关联关系，对所述第一计算图进行调整，生成至少一个第二计算图；

基于所述至少一个第二计算图的显存峰值和运行时长，在所述至少一个第二计算图中确定目标计算图；

基于所述目标计算图，确定所述预设网络模型所需的显存空间。

2.根据权利要求1所述的方法，其特征在于，所述基于预设网络模型，生成第一计算图，包括：

基于所述预设网络模型，生成数据交换格式的计算图信息；

基于所述计算图信息中的算子队列，生成所述计算图信息匹配的第一计算图。

3.根据权利要求1或2所述的方法，其特征在于，所述确定所述第一计算图的显存峰值与运行数据之间的关联关系，包括：

确定所述第一计算图中显存峰值的出现时刻；

确定所述第一计算图中算子的运行数据；

确定所述运行数据的生成时刻和所述运行数据在所述第一计算图中的应用时刻；

确定所述生成时刻和所述应用时刻，与所述显存峰值的出现时刻之间的时序关系，为所述关联关系。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述关联关系，对所述第一计算图进行调整，生成至少一个第二计算图，包括：

在所述第一计算图中，确定所述关联关系满足预设条件的目标运行数据；

基于所述目标运行数据，对所述第一计算图进行调整，生成所述至少一个第二计算图。

5.根据权利要求4所述的方法，其特征在于，所述在所述第一计算图中，确定所述关联关系满足预设条件的目标运行数据，包括：

在所述第一计算图中的算子的运行数据中，确定生成时刻在所述显存峰值的出现时间之前且应用时刻在所述显存峰值的出现时刻之后的运行数据，为满足所述预设条件的目标运行数据。

6.根据权利要求4或5所述的方法，其特征在于，所述基于所述目标运行数据，对所述第一计算图进行调整，生成所述至少一个第二计算图，包括：

在所述第一计算图中，确定所述目标运行数据对应的目标算子；

基于所述第一计算图中所述显存峰值的出现时刻，调整所述第一计算图中的所述目标算子，生成所述至少一个第二计算图。

7.根据权利要求6所述的方法，其特征在于，所述基于所述第一计算图中所述显存峰值的出现时刻，调整所述第一计算图中的所述目标算子，生成所述至少一个第二计算图，包括：

在所述第一计算图中，将所述目标算子的执行时刻调整至所述显存峰值的出现时刻之后，生成所述第二计算图。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述基于所述至少一个第二计算图的显存峰值和运行时长，在所述至少一个第二计算图中确定目标计算图，包括：

获取预设显存开销和预设权衡比值；其中，所述预设权衡比值用于权衡计算图的运行时长和所需显存之间的比重；

基于所述预设显存开销和预设权衡比值，对所述每一第二计算图的显存峰值、运行时长和所述对应的第一计算图的运行时长进行评分，得到所述每一第二计算图的评分结果；

基于所述每一第二计算图的评分结果，对所述至少一个第二计算图中的第二计算图进行排序，得到排序队列；

基于所述排序队列，确定所述目标计算图。