[发明专利]卷积神经网络软硬件协同加速的异构SoC实现方法

权利要求书

1.卷积神经网络软硬件协同加速的异构SoC实现方法，其特征在于，所述方法包括以下步骤：

步骤S100：片内处理器获取当前待检测图片进行预处理，当所述当前待检测图片预处理完毕后，将预处理完毕的当前待检测图片通过存储器发送至可编程逻辑电路，并获取下一张待检测图片作为当前待检测图片进行预处理；

步骤S400：所述可编程逻辑电路接收所述预处理完毕的当前待检测图片，根据预设的卷积神经网络硬件加速器和预设的卷积神经网络模型进行计算，当所述当前待检测图片计算完毕后，将计算完毕的当前待检测图片通过所述存储器发送至所述片内处理器；其中，所述预设的卷积神经网络模型为压缩后的卷积神经网络模型，所述预设的卷积神经网络硬件加速器是基于所述压缩后的卷积神经网络模型进行设计的；

步骤S500：所述片内处理器接收所述计算完毕的当前待检测图片，对所述计算完毕的当前待检测图片进行后处理，输出所述当前待检测图片的检测结果；

所述步骤S400之前包括：

步骤S200：获取初始卷积神经网络模型，对所述初始卷积神经网络模型进行压缩得到压缩后的卷积神经网络模型，对所述压缩后的卷积神经网络模型进行训练得到网络参数文件，对所述网络参数文件进行定点数量化，得到定点化网络参数，根据所述压缩后的卷积神经网络模型和所述定点化网络参数得到训练后的卷积神经网络模型，将所述训练后的卷积神经网络模型作为预设的卷积神经网络模型；

所述初始卷积神经网络模型包括普通卷积层、全连接层和非线性层，所述步骤S200中对所述初始卷积神经网络模型进行压缩得到压缩后的卷积神经网络模型，包括：

步骤S210：将所述初始卷积神经网络模型中的普通卷积层替换为深度可分离卷积层，所述深度可分离卷积层包括深度卷积和逐点卷积；

步骤S220：将所述初始卷积神经网络模型的非线性层设置为ReLU函数；

步骤S230：根据预设的稀疏参数对所述初始卷积神经网络模型的全连接层参数进行稀疏剪枝；

所述步骤S400之前包括：

步骤S300：将所述预设的卷积神经网络硬件加速器结构设计为包括控制模块、输入缓存模块、输出缓存模块、卷积层计算模块、池化层计算模块、全连接层计算模块、第一非线性层及偏置计算模块、第二非线性层及偏置计算模块和网络参数存储模块的硬件加速器；

其中，所述控制模块分别连接所述输入缓存模块、所述输出缓存模块、所述卷积层计算模块、所述池化层计算模块、所述全连接层计算模块、所述第一非线性层及偏置计算模块、所述第二非线性层及偏置计算模块和所述网络参数存储模块，所述输入缓存模块连接所述卷积层计算模块、所述全连接层计算模块和所述输出缓存模块，所述卷积层计算模块连接所述第一非线性层及偏置计算模块，所述第一非线性层及偏置计算模块连接所述池化层计算模块，所述池化层计算模块连接所述输出缓存模块，所述全连接层计算模块连接所述第二非线性层及偏置计算模块，所述第二非线性层及偏置计算模块连接所述输出缓存模块，所述网络参数存储模块连接所述卷积层计算模块、所述全连接层计算模块、所述第一非线性层及偏置计算模块和所述第二非线性层及偏置计算模块。

2.根据权利要求1所述的实现方法，其特征在于，步骤S300还包括：所述卷积层计算模块接收所述控制模块的第一控制信号，根据所述第一控制信号从所述输入缓存模块中加载预设数量计算通道的输入图像，每个计算通道对应一个独立的乘累加器组，所述乘累加器组的数量由输入图像预设的分块尺寸决定，从所述网络参数存储模块读取对应的卷积层网络权重，根据预设的卷积神经网络模型的卷积核大小控制计算时序，根据所述卷积层网络权重在所述卷积核大小的时钟周期内对加载的所述输入图像进行卷积计算得到第一计算结果，并将所述第一计算结果发送至所述第一非线性层及偏置计算模块。