[发明专利]一种应用于深度学习网络的缓存优化方法及装置

权利要求书

1.一种应用于深度学习网络的缓存优化方法，所述深度学习网络包括N层，N大于等于2，其特征在于，该方法包括：

对深度学习网络的第N层进行模拟运算；

在对深度学习网络的第N层进行模拟运算后，检测第一预定缓存块是否被占用，所述第一预定缓存块用于缓存所述第N层模拟运算的输入数据或第N层之前的层模拟运算的输入/输出数据；

如果被占用，则为第N层模拟运算的输出数据分配第二预定缓存块，并在满足预设条件时，释放被占用的所述第一预定缓存块。

2.根据权利要求1所述的方法，其特征在于，缓存块具有与其对应的占用或未占用的状态标记存储在缓存块状态表中，所述检测第一预定缓存块是否被占用，具体包括：

根据第一预定缓存块的标识在所述缓存块 状态表中查询第一预定缓存块对应的状态标记，根据所述状态标记确定所述第一预定缓存块是否被占用。

3.根据权利要求1所述的方法，其特征在于，所述为第N层模拟运算的输出数据分配第二预定缓存块，具体包括：

为第N层模拟运算的输出数据分配与所述第一预定缓存块紧邻的第二预定缓存块。

4.根据权利要求1所述的方法，其特征在于，在满足预设条件时，释放被占用的所述第一预定缓存块，具体包括：

在对深度学习网络的第N+1层进行模拟运算时，释放被占用的所述第一预定缓存块；或，

在对第N层进行模拟运算之后，对深度学习网络的第N+1层进行模拟运算之前，释放被占用的所述第一预定缓存块；或，

在没有第二预定缓存块可分配时，释放被占用的所述第一预定缓存块。

5.根据权利要求1所述的方法，其特征在于，在检测到第一预定缓存块未被占用时，为第N层模拟运算的输出数据分配所述第一预定缓存块。

6.根据权利要求1-5中任何一项所述的方法，其特征在于，所述第一预定缓存块、所述第二预定缓存块通过不同颜色进行标记。

7.一种应用于深度学习网络的缓存优化装置，所述深度学习网络包括N层，N大于等于2，其特征在于，该装置包括：模拟运算单元、状态检测单元、缓存分配单元和缓存释放单元，其中：

所述模拟运算单元，用于对深度学习网络的第N层进行模拟运算；

所述状态检测单元，用于在对深度学习网络的第N层进行模拟运算后，检测第一预定缓存块是否被占用，所述第一预定缓存块用于缓存所述第N层模拟运算的输入数据或第N层之前的层模拟运算的输入/输出数据；

所述缓存分配单元，用于在第一预定缓存块被占用时，为第N层模拟运算的输出数据分配第二预定缓存块；

所述缓存释放单元，用于在满足预设条件时，释放被占用的所述第一预定缓存块。

8.根据权利要求7所述的装置，其特征在于，缓存块具有与其对应的占用或未占用的状态标记，则所述状态检测单元包括查询子单元，所述查询子单元，用于查询所述第一预定缓存块对应的状态标记，根据所述状态标记确定所述第一预定缓存块是否被占用。

9.根据权利要求8所述的装置，其特征在于，缓存块与其状态标记之间的对应关系存储在缓存块状态表中，所述查询子单元，具体用于根据第一预定缓存块的标识在所述缓存块状态表中查询第一预定缓存块对应的状态标记，以便根据查询结果确定所述第一预定缓存块是否被占用。

10.根据权利要求7所述的装置，其特征在于，所述缓存分配单元具体用于为第N层模拟运算的输出数据分配与所述第一预定缓存块紧邻的第二预定缓存块。

11.根据权利要求7所述的装置，其特征在于，所述缓存释放单元具体用于：在对深度学习网络的第N+1层进行模拟运算时，释放被占用的所述第一预定缓存块；或，

在对第N层进行模拟运算之后，对深度学习网络的第N+1层进行模拟运算之前，释放被占用的所述第一预定缓存块；或，

在没有第二预定缓存块可分配时，释放被占用的所述第一预定缓存块。