[发明专利]一种应用于深度学习网络的缓存优化方法及装置

说明书

本发明公开了一种应用于深度学习网络的缓存优化方法及装置，其中缓存优化方法包括：对深度学习网络的第N层进行模拟运算；模拟运算后检测第一预定缓存块是否被占用，如果被占用，则为第N层的输出数据分配第二预定缓存块，并在满足预设条件时，释放被占用的所述第一预定缓存块。通过本发明能够解决深度学习网络每层训练中，缓存优化繁琐的问题，并使得缓存的优化和分配变得更加简单和高效，特别是能够适应不同的网络。

技术领域

本发明涉及计算机技术领域，具体涉及一种应用于深度学习网络的缓存优化方法及与该方法对应的装置。

背景技术

深度学习是机器学习研究中的新领域，是一种比较有效的人工智能方法。它通过模拟人脑的学习行为，从数据中学习到相关知识以便用于后续的预测。深度学习采用所谓的“网络”进行学习，其中网络由多个“层”(例如，卷积)组成，每一层以前一层(或前几个卷积)的输出作为输入进行训练，然后再将训练结果作为下一层的输入。训练过程便是对每一层进行有序计算的过程。

在深度学习的训练中，将产生大量的中间数据，为训练需要，通常需要对这些数据进行缓存，从而占用大量的缓存。因此，亟需探寻优秀的缓存优化方法变得尤为重要。如果由人工根据经验知识进行对深度学习进行缓存优化，其要求优化人员必须对深度学习的网络模型结构非常清楚，并且了解缓存中间数据的每一块缓存的使用时机，知道每块缓存何时会被使用、何时不会被使用，从而将不会被共同使用的缓存进行共享，达到节约缓存大小的目的。

然而，深度学习的不同网络模型，结构不同，其使用缓存的情况也各不相同，对优化人员的要求较高，在真正实施过程中，难以实现，降低了缓存优化效率。

发明内容

本发明所要实现的目的在于，通过提出的一种应用于深度学习网络的缓存优化方法及装置，以解决深度学习网络每层训练中，缓存优化效率较低的问题。

根据本发明的一方面，提供了一种应用于深度学习网络的缓存优化方法，该深度学习网络包括N层，N大于等于2，该方法包括：对深度学习网络的第N层进行模拟运算；在对深度学习网络的第N层进行模拟运算后，检测第一预定缓存块是否被占用，所述第一预定缓存块用于缓存所述第N层模拟运算的输入数据或第N层之前的层模拟运算的输入/输出数据；如果被占用，则为第N层模拟运算的输出数据分配第二预定缓存块，并在满足预设条件时，释放被占用的所述第一预定缓存块。

可选地，所述缓存块具有与其对应的占用或未占用的状态标记存储在缓存块状态表中，所述检测第一预定缓存块是否被占用，具体包括：根据第一预定缓存块的标识在所述缓存状态表中查询第一预定缓存块对应的状态标记，根据所述状态标记确定所述第一预定缓存块是否被占用。

可选地，所述为第N层模拟运算的输出数据分配第二预定缓存块，具体包括：为第N层模拟运算的输出数据分配与所述第一预定缓存块紧邻的第二预定缓存块。

可选地，所述方法中，在满足预设条件时，释放被占用的所述第一预定缓存块，具体包括：在对深度学习网络的第N+1层进行模拟运算时，释放被占用的所述第一预定缓存块；或在对第N层进行模拟运算之后，对深度学习网络的第N+1层进行模拟运算之前，释放被占用的所述第一预定缓存块；或在没有第二预定缓存块可分配时，释放被占用的所述第一预定缓存块。

可选地，在检测到第一预定缓存块未被占用时，为第N层模拟运算的输出数据分配所述第一预定缓存块。

可选地，所述第一预定缓存块、所述第二预定缓存块通过不同颜色进行标记。根据本发明的另一方面，还提供了一种应用于深度学习网络的缓存优化装置，该深度学习网络包括N层，N大于等于2，包括：

模拟运算单元，用于对深度学习网络的第N层进行模拟运算；

状态检测单元，用于在对深度学习网络的第N层进行模拟运算后，检测第一预定缓存块是否被占用，所述第一预定缓存块用于缓存所述第N层模拟运算的输入数据或第N层之前的层模拟运算的输入/输出数据；