[发明专利]神经网络的内存分配方法及装置

说明书

本申请实施例提供了一种神经网络的内存分配方法及装置，该方法包括：获取所述神经网络对应的原始计算图，所述原始计算图包括多个操作神经元和所述操作神经元对应的数据神经元；基于所述操作神经元的深度优先序列，计算所述原始计算图中所有数据神经元的存储周期；基于所述数据神经元的存储周期，分配第i个内存区域给第一数据神经元，所述第i个内存区域的内存大小大于或等于所述第一数据神经元占用的内存大小，所述第一数据神经元为所述原始计算图中的任一数据神经元，所述i小于或等于n。本申请在神经网络包括一个计算核心的情况下，基于数据神经元的存储周期进行内存分配，提高了内存复用率。

技术领域

本申请涉及深度学习技术领域，尤其涉及一种神经网络的内存分配方法及装置。

背景技术

目前深度学习框架主要使用计算图来表达深度学习模型的计算，其神经元根据功能可分为数据神经元和操作神经元，数据神经元与操作神经元之间的连接关系对应数据流向，以此构成一个有向无环图，从而来指定计算任务执行依赖关系，因此，计算图在数据流计算和流数据处理中得到广泛应用。计算图中的数据流向是可控的，可以根据计算图静态计算出计算的执行顺序。当计算图里存在多个分支并且能够使用的计算内核只有一个时，那么多个分支的计算神经元的顺序排布就显得尤为重要。通常神经网络是根据计算图的拓扑顺序依次执行计算神经元的操作，只有在指向该操作的所有操作都完成后，该操作才可以执行。但是，当计算规模增大，多个分支都得同时占用内存大小来执行计算，需要占用大量的内存，对于内存资源受限的计算设备，可能无法满足神经网络的内存需求。

申请内容

本申请实施例提供了一种神经网络的内存分配方法及装置，能够有效地提高内存使用率、提高计算效率。

第一方面，本申请实施例提供一种神经网络的内存分配方法，应用于单核处理器，所述单核处理器包括n个内存区域，所述n为正整数，所述方法包括：

获取所述神经网络对应的原始计算图，所述原始计算图包括多个操作神经元和所述操作神经元对应的数据神经元；

基于所述操作神经元的深度优先序列，计算所述原始计算图中所有数据神经元的存储周期；

基于所述数据神经元的存储周期，分配第i个内存区域给第一数据神经元，所述第i个内存区域的内存大小大于或等于所述第一数据神经元占用的内存大小，所述第一数据神经元为所述原始计算图中的任一数据神经元，所述i小于或等于n。

第二方面，本申请实施例提供一种神经网络的内存分配装置，应用于单核处理器，所述单核处理器包括n个内存区域，所述n为正整数，所述装置包括：

获取单元，用于获取所述神经网络对应的原始计算图，所述原始计算图包括多个操作神经元和所述操作神经元对应的数据神经元；

计算单元，用于基于所述操作神经元的深度优先序列，计算所述原始计算图中所有数据神经元的存储周期；

分配单元，用于基于所述数据神经元的存储周期，分配第i个内存区域给第一数据神经元，所述第i个内存区域的内存大小大于或等于所述第一数据神经元占用的内存大小，所述第一数据神经元为所述原始计算图中的任一数据神经元，所述i小于或等于n。

第三方面，本申请实施例提供一种计算机设备，所述计算机设备包括存储器、处理器、通信总线和通信接口，其中，所述处理器、通信接口存储器通过通信总线完成相互间的通信；所述存储器用于存放计算机程序；所述处理器用于执行所述存储器上所存放的程序时，实现如上述第一方面所描述的部分或全部步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括存储用于数据交换的计算机程序，所述计算机程序被处理器执行时实现如本申请实施例第一方面所描述的部分或全部步骤。