[发明专利]基于最优结构搜索的神经网络动态加速平台设计方法及神经网络动态加速平台

说明书

本发明提供一种基于最优结构搜索的神经网络动态加速平台设计方法，神经网络动态加速平台包括：控制端和硬件加速端；控制端用于训练控制神经网络，控制神经网络根据子神经网络所反馈的推论准确率以及预先设置的准确率精度要求，对子神经网络的结构进行更新并生成子神经网络结构参数，并对更新后的子神经网络进行再训练生成权重参数，同时生成配置文件发送至硬件加速端，配置文件包含子神经网络的结构参数与权重参数；当硬件加速端返回子神经网络推论准确率稳定以后，即搜索到硬件加速端上的子神经网络的最优结构；所述子神经网络为需要在硬件加速端进行推论加速的神经网络；本发明可动态地对需要进行硬件推论加速的子神经网络进行最优结构搜索。

技术领域

本发明涉及智能平台计算领域，尤其涉及一种基于最优网络结构搜索的神经网络动态加速平台设计方法。

背景技术

深度神经网络(DNN)已然展现出巨大价值，在深度神经网络中，卷积神经网络(CNN)相比于传统的图像识别方案有着明显的优势。随着人们要求的提高，网络层数的加深和数据库不断地增大成为CNN的主流发展技术线路。与此同时，对于深度神经网络的运用也面临着几个问题：

(1)训练一个卷积神经网络将花费更多的时间，CNN算法主要通过大量的乘法运算来实现卷积，1998年LeCun等提出的运用于识别手写字体的CNN模型只有少于2.3×10⁷次乘法运算，2012年Krizhevsky等设计出的名为AlexNet的CNN模型的乘法运算次数达到了1.1×10⁹次，而在2015年Simonyan和Zisserman提出的CNN模型所需的乘法运算次数甚至超过了1.6×10¹⁰次。

(2)大型深度神经网络运行时会消耗相当大的功耗，并且在通用处理器中运行效率低下。因为其模型必须存储在外部DRAM，且在在对图片或语音的推测过程中需要实时调用。下表显示了在45nm的CMOS处理器中做基本运算和存储过程的功耗。若无网络结构的优化以及硬件架构的优化，模型数据的存取及运算将占用大量功耗。特别对于嵌入式的移动端，这是不允许的。

表1. 45nm CMOS处理器功耗表

针对以上需求和挑战，针对硬件资源、精度要求等条件，满足硬件计算效率高、性能功耗比高等要求，提供基于一种基于最优结构搜索的神经网络动态加速平台的设计方法是非常迫切的。

发明内容

本发明的目的是在于克服现有技术中存在的不足，提供一种基于最优结构搜索的神经网络动态加速平台设计方法以及神经网络动态加速平台，可动态地对需要进行硬件推论加速的子神经网络进行最优结构搜索，并完成子神经网络的推论加速过程。本发明采用的技术方案是：

一种基于最优结构搜索的神经网络动态加速平台设计方法，包括：

S1，神经网络动态加速平台的控制端上的控制神经网络根据子神经网络所反馈的推论准确率以及预先设置的准确率精度要求，对子神经网络的结构进行更新并生成子神经网络结构参数，同时控制端对更新过结构的子神经网络进行再训练，生成子神经网络的权重参数，最后生成存储器的地址及访问模式；根据子神经网络的结构参数、权重参数、存储器的地址及访问模式形成配置文件；

S2，将配置文件写入神经网络动态加速平台中硬件加速端的配置缓存模块，并根据配置文件中的卷积层层数、池化层层数、全连接层层数分别更新核心计算模块中卷积计算单元、池化单元、线性计算单元数量，根据配置文件中的代表各层连接方式的参数更新各单元的连接方式，根据卷积层与池化层的结构参数分别更新卷积计算单元、池化单元的结构；

S3，通过数据输入单元读取输入的数据，并通过卷积计算单元将输入数据进行卷积运算，之后通过线性运算单元、池化单元和分类单元得出分类结果，同时计算子神经网络的推论准确率，最后通过数据输出单元输出分类结果和推论准确率；