[发明专利]基于ReRAM神经网络加速器的可调硬件感知的剪枝和映射框架

说明书

本发明提出了一种基于ReRAM神经网络加速器的可调硬件感知的剪枝和映射框架，该剪枝和映射框架包括DDPG代理器和ReRAM神经网络加速器；所述DDPG代理器由行为决策模块Actor和评判模块Critic组成，其中，行为决策模块Actor用于对神经网络做出剪枝决策；ReRAM神经网络加速器用于映射行为决策模块Actor产生的剪枝决策下形成的模型，并将此剪枝决策下的模型映射的性能参数作为信号反馈给评判模块Critic；所述性能参数包括模拟器的能耗、延迟和模型准确率；评判模块Critic根据反馈的性能参数更新奖励函数值，并指导行为决策模块Actor下一阶段的剪枝决策；本发明方法利用强化学习DDPG代理来做出与硬件和用户需求最匹配、最高效的剪枝方案，在保证准确率的同时，提升了硬件上延迟性能和能耗性能。

技术领域

本发明涉及计算机科学人工智能领域，尤其涉及一种针对基于ReRAM神经网络加速器的可调硬件感知的剪枝和映射框架。

背景技术

深度神经网络在计算机视觉、自然语言处理、机器人学等领域发展中起着重要的推动作用，随着移动物联网平台的发展，IoT设备端的神经网络应用迅猛发展。由于神经网络的计算密集性和大量的数据移动性，神经网络的应用会产生高能量消耗和高延迟，然而，IoT平台上计算资源有限、能量支持有限，因此IoT设备需要更高效的神经网络映射方案来降低能耗和延迟。电阻式随机访问存储器(ReRAM)由于其极低的能量泄漏、高密度存储和存内计算的特性，基于ReRAM的神经网络加速器为IoT设备的局限性提供了解决思路。另一方面，由于目前大量的稀疏神经网络模型越来越大，造成了大量不必要的资源浪费和延迟增加，在模型映射到ReRAM神经网络加速器之前进行剪枝，可以极大地降低模型的大小，从而降低硬件能量消耗和应用的延迟。但是当ReRAM神经网络加速器的硬件规格和种类不同时，而且面对用户对于延迟、能耗等不同层次的需求时，传统的深度学习剪枝方案无法感知硬件和用户需求的变化而做出产生同一种剪枝方案，从而造成ReRAM神经网络加速器硬件上模型映射的性能低效性，制约了ReRAM神经网络加速器的性能优势发展。

发明内容

为了根据移动设备用户的需求而更加高效地探索在ReRAM神经网络加速器上映射卷积神经网络，本发明提出了一种可调的智能硬件感知剪枝和映射框架，利用强化学习代理从ReRAM神经网络加速器硬件上得到的反馈（如延迟、能耗、能效等）来代替无法在硬件加速器性能上表现的信号（如模型大小、浮点操作次数等），使用深度确定性策略梯度（DDPG）来进行剪枝策略的搜索和决策，以实现基于ReRAM神经网络加速器的更友好的剪枝策略的确定，降低剪枝后映射的神经网络模型在硬件加速器上的延迟、能耗，从而使得可穿戴移动物联网设备在有限资源限制下实现深度学习应用，并且根据硬件和用户对延迟、能耗的需求不同，找到与之最适配的剪枝和映射框架。

本发明采用的技术方案是：

一种基于ReRAM神经网络加速器的可调硬件感知的剪枝和映射框架，包括DDPG代理器和ReRAM神经网络加速器；所述DDPG代理器由行为决策模块Actor和评判模块Critic组成，其中，所述行为决策模块Actor用于对神经网络模型做出剪枝决策；

所述ReRAM神经网络加速器用于映射行为决策模块Actor产生的剪枝决策下形成的模型，并将剪枝决策下的模型映射的性能参数作为信号反馈给评判模块Critic；所述性能参数包括ReRAM神经网络加速器的能耗、延迟和模型准确率；

所述评判模块Critic用于根据反馈的性能参数更新奖励函数值，评估行为决策模块Actor的表现，并指导行为决策模块Actor下一阶段的剪枝决策使奖励函数值收敛；

所述奖励函数值根据用户的需求来选择通过Reward1（能耗）和/或Reward2（延迟）更新，已达到硬件中的实际性能表现：

Reward1=-Error×log(Energy)