[发明专利]一种基于增量综合的深度神经网络加速器协同设计方法

权利要求书

1.一种基于增量综合的深度神经网络加速器协同设计方法，通过计算图修改检测方法识别上层应用的改变，再利用上层神经网络应用的改变修改层次化重用加速器硬件部分，增量构造深度神经网络加速器，减少深度神经网络加速器硬件的设计周期，从而提升加速器协同设计的效率；包括如下步骤：

1)将选取的深度神经网络模型DNN简化为计算图；

计算图中的结点为DNN模型中的层，对应于加速器硬件中的一个功能模块；计算图中边表示数据依赖关系，对应于加速器中功能模块间的数据通路；计算图划分为多个部分，每个部分为一张子图；

2)若未设置用于指导加速器硬件设计的加速器设计参考，则执行步骤3)；若已有设置网络加速器设计参考，则执行步骤4)；

3)构造神经网络加速器，作为协同设计的加速器设计参考，用于指导加速器硬件设计；

为每个深度神经网络构造专属的加速器硬件，并对FPGA平台进行编程；包括：

使用异构加速器设计，包括多个加速器架构，每个架构是一组功能模块的集合，用于处理计算图的一张子图；每个功能模块为架构中的硬件模块，占用FPGA物理位置上的硬件资源，包括可编程逻辑功能块，可编程I/O块和布线资源，实现子图中一个结点即神经网络层的计算功能；当一个加速器架构处理完某一个子图后，FPGA被重新配置成另一种加速器架构，继续处理另一张子图；

重复上述重配置过程，直至计算图的所有子图均被处理完；即构造得到神经网络加速器；

当构造的神经网络加速器的目标DNN模型算法更新时，转至步骤1)执行；

4)采用增量综合的方法完成加速器的设计，节省加速器实现时间；具体包括以下操作：

4A)定义计算图的修改模式，包括：删除，插入，替换，调序，复制，压缩和分解模式；

4B)通过比较当前的计算图与已有网络加速器设计参考中的计算图，使用图形编辑距离算法自动检测得到计算图的修改模式；定义计算图修改模式相对应的图形编辑操作及操作代价函数；包括如下步骤：

4B1)根据计算图修改模式定义一组图形编辑操作，分别对应每一个计算图修改模式，包括：插入模式、删除模式、替换模式、调序模式、复制模式；

4B2)定义每个图形编辑操作的代价函数；具体包括：

首先使用特征向量来抽象结点ν；特征向量由归一化的计算复杂度和层参数组成，包括结点v的输入形状，过滤器形状，步幅和最大操作数量；基于特征向量，定义每种编辑操作的代价；

通过自定义的编辑操作及其代价，即可通过图形编辑距离算法自动检测出计算图中所做的修改；

4C)层次化重用加速器设计参考：当检测出计算图修改后，复用不需要修改的加速器架构和功能模块，采用三个重用层次实现加速器重用机制；

三个重用层次分别是：

1)子图重用：重用子图对应的加速器架构的完整物理实现；当被复制的结点来自同一子图时，在子图级别处理重复模式；

2)结点重用：重用处理某一结点即神经网络层的功能模块的物理实现；

3)部分重用：重用加速器中某一功能模块的网表，该网表需重新运行布局布线PR得到物理实现；

对于FPGA平台上的深度神经网络加速器设计，每个硬件功能模块通过在FPGA资源上布局布线实现，即一个功能模块的寄存器转换级电路RTL代码在经过逻辑综合后可得到该功能模块的网表；网表进一步在FPGA资源上布局布线，得到该功能模块的物理实现；一个加速器架构中所有功能模块的物理实现即为该架构的完整物理实现；

通过层次化重用加速器设计参考，即得到适配当前DNN算法的神经网络硬件加速器；

通过上述步骤，即实现基于增量综合的深度神经网络加速器协同设计。

2.如权利要求1所述基于增量综合的深度神经网络加速器协同设计方法，其特征是，步骤1)将选取的深度神经网络模型DNN具体简化为神经网络开放标准ONNX的计算图形式。

3.如权利要求1所述基于增量综合的深度神经网络加速器协同设计方法，其特征是，步骤3)中，异构加速器设计包含的加速器架构数量及每个架构中各层占用的FPGA资源，根据计算图划分算法得到，具体可通过设置知识产权核IP核参数来配置IP核仓库内的知识产权核实现各个功能模块；IP核参数由IP核仓库中的性能和资源模型确定。