[发明专利]面向资源受限存算一体芯片的DNN推理加速系统及方法

权利要求书

1.一种面向资源受限存算一体芯片的DNN推理加速系统，其特征在于，包括：

权重分配模块，用于在离线状态下获取神经网络信息和ReRAM结构信息，生成一个OU大小的权重块到物理OU的映射表，映射表用来存储神经网络权重在ReRAM上每次部署时，各个OU位置的权重块信息；

OU调度模块，用于在离线状态下将神经网络信息、ReRAM结构及映射表信息输入到OU调度器，生成调度表；OU调度器对每个神经网络层的输入特征向量进行排序，并转换为相应crossbar的输入电压；所述调度表用来保存每个OU的运行次数及运行顺序，并控制特征向量的输入以及运行后结果的输出位置；

权重编程模块，用于在线状态下根据生成的映射表，将OU大小的权重块写入指定的物理OU中；

推理模块，用于在线状态下读取所述调度表，用相应的输入特征向量激活OU上的计算；

所述权重编程模块和推理模块迭代运行，直到对所有给定的输入数据完成DNN推理。

2.如权利要求1所述的一种面向资源受限存算一体芯片的DNN推理加速系统，其特征在于，所述权重编程模块每次编程ReRAM设备容量大小的神经网络权重到硬件设备上，硬件设备含有多个crossbar，每个crossbar每个权重部署阶段都有一个相应的映射表。

3.如权利要求2所述的一种面向资源受限存算一体芯片的DNN推理加速系统，其特征在于，ReRAM上的各个crossbar是并行运行的，每个crossbar在同一时刻只有一个OU被激活进行计算，且每个crossbar在每个推理阶段都有一个相应的调度表。

4.如权利要求3所述的一种面向资源受限存算一体芯片的DNN推理加速系统，其特征在于，ReRAM上的各个crossbar通过读取调度表中的数据，获取需要激活的OU位置以及该OU本次计算的输入特征向量，通过将输入特征向量转换为电压输入到该OU的位线上，得到本次计算的结果，获取调度表中的输出特征向量信息，将计算结果传输到相应的位置存储。

5.一种如权利要求1-4任一项所述的面向资源受限存算一体芯片的DNN推理加速系统的DNN推理加速方法，其特征在于，包括：

基于ReRAM的编程时延模型，得到编程时延的优化策略；所述优化策略包括：相似度匹配策略、均衡映射策略和距离感知策略；

将训练后的神经网络的权重量化为整数，将神经网络权重划分为ReRAM大小的部署层，并将每个部署层的权重以OU为单位分成权重块；

基于相似度匹配策略、均衡映射策略和距离感知策略，生成每一个权重块到物理OU的映射表；

基于神经网络结构及量化后的权重信息、ReRAM结构以及映射表信息，生成调度表；

上述过程在离线状态下实现。

6.如权利要求5所述的DNN推理加速方法，其特征在于，所述ReRAM的编程时延模型具体为：将ReRAM的编程时延单位由小到大分解为单次编程时延、单OU编程时延、单crossbar编程时延和整个ReRAM的编程时延；

其中，单OU编程时延为该OU中所有单次编程时延的总和，单crossbar编程时延为该crossbar中所有OU编程时延的总和，整个ReRAM的编程时延为编程时延最大的单crossbar编程时延。

7.如权利要求5所述的DNN推理加速方法，其特征在于，所述相似度匹配策略具体为：利用OU的相似性减少全局RESET操作次数：在单次编程操作中，并行操作的所有单元都不需要从1到0的RESET操作时，该操作可省略。

8.如权利要求5所述的DNN推理加速方法，其特征在于，所述均衡映射策略具体为：

通过调整OU的相似度匹配顺序，实现各个crossbar编程时延的均衡。

9.如权利要求5所述的DNN推理加速方法，其特征在于，所述距离感知策略具体为：对完成相似度匹配的OU的位置进行调整，将操作频繁的OU调整到该crossbar中RESET编程时延较小的位置，从而降低单crossbar编程时延。