[发明专利]一种基于张量的深度学习GPU内存管理优化方法及系统

权利要求书

1.一种基于张量的深度学习GPU内存管理优化方法，至少包括如下步骤：

执行至少一个计算操作，其中，所述计算操作以张量为输入并产生张量作为输出；

在一个计算操作被执行时，对张量的访问信息进行跟踪，并基于所述访问信息制定内存管理优化决策，

其特征在于，

在训练的第一次迭代中被动地在CPU内存和GPU内存之间进行内存交换以获得一次完整迭代的张量的访问信息；

所述获得一次完整迭代的张量的访问信息至少包括如下步骤：

(1)构建张量访问信息表，使得每当张量被访问时，张量的访问信息能够存储至所述张量访问信息表，

(2)当产生内存溢出时，从张量访问信息表中最开始寻找一个或多个张量，被动交换出GPU内存直至此次内存溢出消失，并记录此次交换对应的CPU内存地址，

(3)当产生张量访问错误时，确定其对应的CPU内存地址，并将其被动地交换进GPU内存，

(4)当一次迭代结束时，将张量的访问信息的时间戳减去其前面所有被动内存交换的时间以得到一次完整迭代的张量的访问信息；

根据获取的关于完整迭代的张量的访问信息，制定内存管理优化决策；

在后续迭代中，根据运行时的反馈对制定的内存管理优选决策进行动态调整。

2.根据权利要求1所述的深度学习GPU内存管理优化方法，其特征在于，获得一次完整迭代的张量的访问信息至少包括如下步骤：

构建张量访问信息表，使得每当张量被访问时，张量的访问信息能够存储至所述张量访问信息表；

当产生内存溢出时，基于张量被访问时的时间戳的先后顺序，依次从所述张量访问信息表中筛选出一个或多个张量，使得所述一个或多个张量在被动交换出GPU内存而进入CPU内存时，所述内存溢出能够被消除，其中，所述一个或多个张量在被动交换后所对应的CPU内存地址能够形成记录；

当产生张量访问错误时，基于所述记录确定该张量对应的CPU内存地址，并将该张量被动地交换进GPU内存；

当一次迭代结束时，将张量的访问信息的时间戳减去其前面所有被动内存交换的时间以得到一次完整迭代的张量的访问信息。

3.根据权利要求2所述的深度学习GPU内存管理优化方法，其特征在于，制定内存管理优化决策至少包括如下步骤：

根据确定的张量的访问信息，获得用于内存优化的若干个候选张量；

获取候选张量的空闲时间，为空闲时间最大的候选张量选择内存换入的触发张量访问，并分别计算出内存交换操作所需的第一开销和重计算操作所需的第二开销，其中，在第一开销小于第二开销的情况下，为该候选张量配置内存交换操作，或者在第一开销大于第二开销的情况下，为该候选张量配置重计算操作；

根据选择的空闲时间最大的候选张量更新剩余候选张量的空闲时间；

重复上述步骤，直至选择出来的候选张量的大小满足内存减小的需求。

4.根据权利要求3所述的深度学习GPU内存管理优化方法，其特征在于，对内存管理优化决策进行动态调整至少包括如下步骤：

在张量被访问时，检查其状态，其中，在该张量处于正在换入GPU内存的状态的情况下，向前调整该张量的内存换入的触发张量访问，并使其在下次迭代时生效。

5.根据权利要求4所述的深度学习GPU内存管理优化方法，其特征在于，获取候选张量的空闲时间至少包括如下步骤：

确定张量被换出GPU内存的时间戳和被换入GPU内存的时间戳；

基于公式确定张量所需的交换时间，其中，T_mem为张量所占的内存大小，B_pcie为GPU和CPU间的PCI-e带宽；

基于张量被换出GPU内存的时间戳与所述交换时间之和，确定张量换出GPU内存的结束时间；

基于张量换入GPU内存的时间戳与所述交换时间之差，确定张量最迟需要开始换入GPU内存的开始时间；

基于所述开始时间与所述结束时间之差，确定所述空闲时间。