[发明专利]卷积神经网络软硬件协同加速的异构SoC实现方法

说明书

本发明公开了一种卷积神经网络软硬件协同加速的异构SoC实现方法，包括：片内处理器获取当前待检测图片进行预处理，当当前待检测图片预处理完毕后，将预处理完毕的当前待检测图片通过存储器发送至可编程逻辑电路，并获取下一张待检测图片作为当前待检测图片进行预处理；可编程逻辑电路接收预处理完毕的当前待检测图片，根据预设的卷积神经网络硬件加速器和预设的卷积神经网络模型进行计算，当当前待检测图片计算完毕后，将计算完毕的当前待检测图片通过存储器发送至片内处理器；片内处理器接收计算完毕的当前待检测图片，对计算完毕的当前待检测图片进行后处理，输出当前待检测图片的检测结果。实现低成本的嵌入式SoC的高速实时图像处理。

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种卷积神经网络软硬件协同加速的异构SoC实现方法。

背景技术

嵌入式异构SoC(System On Chips)被视为继单核、多核之后的新一代计算机处理器解决方案，它将实现不同类型指令集和不同类型体系架构的计算单元之间的“协同计算、彼此加速”，从而突破单一硬件架构存在的计算瓶颈，有效解决能耗、可扩展性等问题。本发明中涉及使用的SoC器件指FPGA(Field Programmable Gate Array，现场可编程门阵列)与ARM(Advanced RISC Machine)为主体的计算器件，其中，FPGA是一种半定制的电路芯片，可从门级电路层面为算法设计并行化加速策略，是异构SoC中的可编程逻辑电路PL(Programmable logic)部分；ARM是一种基于RISC体系架构的低功耗处理器，作为SoC的控制模块，是异构SoC中的片内处理器PS(Processing System)部分。PL与PS部分都是可编程的，有专用的高速接口用于数据交互。通常在异构加速计算中，PL部分构成高性能的计算电路，PS部分负责控制计算电路的工作、协调外部设备交互等功能。

近年来，以卷积神经网络(Convolutional Neural Network，CNN)为代表的深度学习算法在计算机视觉领域尤其是图像分类，目标检测及模式识别等任务中表现出色。各类基于卷积神经网络的算法在如ImageNet、FDDB、PubFig等公开数据集中不断刷新图像分类、检测和识别的准确率记录，但是这些深度学习模型具有密集的参数量和计算量，往往难以在低成本的嵌入式平台中进行部署，或无法在资源稀缺的嵌入式平台中实现基于卷积神经网络的图像处理任务，以及处理速度慢。

发明内容

针对以上技术问题，本发明提供一种卷积神经网络软硬件协同加速的异构SoC实现方法，以实现低成本的嵌入式SoC的高速实时图像处理。

本发明解决其技术问题采用的技术方案是：

在一个实施例中，方法包括以下步骤：

步骤S100：片内处理器获取当前待检测图片进行预处理，当当前待检测图片预处理完毕后，将预处理完毕的当前待检测图片通过存储器发送至可编程逻辑电路，并获取下一张待检测图片作为当前待检测图片进行预处理；

步骤S400：可编程逻辑电路接收预处理完毕的当前待检测图片，根据预设的卷积神经网络硬件加速器和预设的卷积神经网络模型进行计算，当当前待检测图片计算完毕后，将计算完毕的当前待检测图片通过存储器发送至片内处理器；其中，预设的卷积神经网络模型为压缩后的卷积神经网络模型，预设的卷积神经网络硬件加速器是基于压缩后的卷积神经网络模型进行设计的；

步骤S500：片内处理器接收计算完毕的当前待检测图片，对计算完毕的当前待检测图片进行后处理，输出当前待检测图片的检测结果。

优选地，步骤S400之前包括：