[发明专利]用于智能处理器的内存管理装置、方法及电子设备

说明书

本公开提供一种用于智能处理器的内存管理装置及方法，装置包括：循环内存段，包括第一内存区域、第二内存区域及第三内存区域，分别用于所述智能处理器进行运算过程中的分形运算、规约运算、数据装载及写回时调用；静态内存段，包括第四内存区域及第五内存区域，用于存储所述智能处理器进行运算时输入的分形指令。基于指令执行生命周期的差别，将智能处理器控制系统内存进行分类管理，可提高智能处理器的执行效率，并且，内存管理装置中增加张量置换单元可以进一步显著改善智能处理器的执行效率，同时数据一致性也得以维护。

技术领域

本公开涉及计算机技术领域，尤其涉及一种用于智能处理器的内存管 理装置、方法及电子设备。

背景技术

机器学习算法作为一种新兴工具，在产业界得到越来越多的应用，包 括图像识别、语音识别、人脸识别、视频分析、智能推荐、游戏竞技等领 域。近年来，针对应用越来越广泛的机器学习负载，产业界出现了许多不 同规模的机器学习专用计算机。例如，在移动端，一些智能手机采用了机 器学习处理器用于人脸识别，在云服务端，采用机器学习计算机进行加速 等。

机器学习算法具有广泛的前景，但应用收到编程难题的制约。应用场 景的广泛不仅体现在具有多种应用领域，同时还体现在应用在不同规模的 硬件平台上。如果要对每一种硬件上的每一种应用分别编程，就会产生由 编程-规模相关性带来的编程难题。因此，研发人员采用编程框架(例如 TensorFlow、PyTorch、MXNet)来作为桥接模型，将各种应用和各种硬件 桥接起来改善该问题。

但是，编程框架仅仅缓解了用户在编程时遇到的编程难题；对于硬件 厂商而言，挑战则变得更严峻了。现在，硬件厂商不仅需要为每一个硬件 产品提供编程接口，还需要将每一个编程框架移植到每一个硬件产品上， 这产生了巨大的软件开发成本。单独TensorFlow一个框架，就具有超过一 千种算子，而在某一硬件上为一个算子做优化就需要一名高级软件工程师 工作几个月的时间。

发明内容

针对上述的缺陷，本公开的目的在于提供一种用于智能处理器的内存 管理装置、方法及电子设备，用于至少部分解决上述问题。

根据本公开的第一方面，提供一种用于智能处理器的内存管理装置， 所述内存管理装置包括：循环内存段，包括第一内存区域、第二内存区域 及第三内存区域，分别用于所述智能处理器进行运算过程中的分形运算、 规约运算、数据装载及写回时调用；静态内存段，包括第四内存区域及第 五内存区域，用于存储所述智能处理器进行运算时输入的分形指令。

在一些实施例中，所述内存管理装置还包括：张量置换单元，用于记 录所述循环内存段或所述静态内存段上当前存储的数据所对应的外部存 储地址，在下一次运算需要访问同一地址上的外部内存中的数据时，对所 述外部存储地址进行置换，以所述智能处理器的本地存储器上暂存的备份 数据代替所述外部内存中的数据。

在一些实施例中，所述智能处理器进行运算过程中分形运算、规约运 算、数据装载及写回按照流水线方式执行，所述智能处理器在运算过程中 随着流水线的周期执行循环调用所述第一内存区域、第二内存区域及第三 内存区域。

在一些实施例中，在所述智能处理器的运算过程中，所述第一内存区 域、第二内存区域及第三内存区域被周期性循环调用，在进入下一周期循 环调用时，所述张量置换单元清空当前循环周期记录的所述外部存储地 址。

在一些实施例中，所述第四内存区域及所述第五内存区域交替存储所 述分形指令。

根据本公开的第二方面，提供一种用于智能处理器的内存管理方法， 所述内存管理方法上述所述的内存管理装置实现，所述内存管理方法包 括：在对输入的分形指令进行串行分解时，采用静态内存段的第四内存区 域及第五内存区域进行存储；在所述智能处理器进行运算过程中，所述智 能处理器的分形运算、规约运算、数据装载及写回分别调用所述循环内存 段的第一内存区域、第二内存区域及第三内存区域。