[发明专利]一种基于FPGA的支持通道分离卷积的神经网络加速器

说明书

本发明公开一种基于FPGA的支持通道分离卷积的神经网络加速器，该加速器包括：Ping‑Pong寄存器文件、可配置数据流的输出特征值行映射单元ORMU阵列、功能单元模块以及存储器接口模块等；Ping‑Pong寄存器文件从控制处理器接受配置和控制字，完成计算后发出中断信号；ORMU阵列采用可配置的片上网络将ORMU单元和缓存互联，以满足不同数据带宽需求的神经网络的计算；功能单元模块用以实现Pooling池化、Relu激活以及批量归一化BN等功能；存储器接口模块用以传输权重和特征值。本发明通过灵活的分层网状片上网络，以支持通道分离卷积(逐通道卷积和逐点卷积)、传统卷积以及全连接对数据带宽的不同需求，从而保证较高的计算单元的利用率，极大的提升了推理/计算速度。

技术领域

本发明涉及一种基于FPGA(Filed Programmable Gate Array)的支持通道分离卷积的神经网路加速器硬件结构技术,属于电子信息以及深度学习技术领域。

背景技术

近几年，得益于有效数据(文本、视频、音频等)的爆发增长以及半导体技术的进步，深度学习得到了快速的发展并且在机器视觉以及自然语言等领域取得了巨大的成功。由于深度网络具备多层的非线性结构，使其具备强大的特征表达能力和对复杂任务的建模能力的同时，也为其带来了参数量庞大和计算复杂的特性。尽管现如今具有强大算力和海量存储的服务器可以轻松的完成即使是最复杂的卷积神经网络的推理，但是在大多数的实际应用中，为了减少延迟和降低安全风险，卷积神经网络的正向推理过程必须在资源和功耗有限的终端完成。例如，自动驾驶，无人机导航以及机器人等领域。

为满足实际应用的需要，拓展卷积神经网络在嵌入式终端的应用成为近期卷积神经网络发展的一个重要趋势，其旨在减少卷积神经网络模型的大小和改善硬件的处理效率。在此探索的过程中，许多创新的技术被提出来，包括权重值和特征值量化，权重值剪枝以及采用通道分离卷积替换传统卷积计算，从而使卷积神经网络的结构变的十分紧凑且特征值和权重更加的稀疏化。

尽管如此，这些算法上的优化也仅仅是理论上减少了计算量和存储成本，而现如今大多数的传统卷积神经网络加速器无法很好的将这种理论上的好处转化为实际的能效和处理速度的提升。其网络结构的不规则性和数据的稀疏化反而会引起神经网络硬件加速器的MAC(Multiply Accumulate)单元在时间和空间上利用率大幅度降低，进而导致性能的退化。

在以上提到的方法中，采用通道分离卷积代替标准卷积的DW-CNN(Depth-wiseConvolutional Neural Networks)和PW-CNN(Point-wise Convolutional NeuralNetworks)被广泛的应用在各种轻量级神经网络中，用以大量减少参数量和计算复杂度。

基于以上分析设计一款支持通道分离卷积的灵活高效加速器将会使加速器在能效和处理速度上具有先天的优势。

发明内容

技术问题：本发明的目的是提供一种基于FPGA的支持通道分离卷积的神经网络加速器，通过支持通道分离卷积，充分利用结构紧凑的卷积神经网络所带来的参数量和计算量大量减少的优势，进而提高能效和处理速度。为此，采用了灵活可配置的片上网络，以满足计算单元对不同网络结构带宽需求的变化，同时采用输出特征值行稳定的数据流模式，充分探索数据复用提高能效。

技术方案：本发明的一种基于FPGA的支持通道分离卷积的神经网络加速器包括Ping-Pong寄存器文件模块、可配置数据数据流的ORMU阵列、功能单元以及存储器接口模块；

所述的Ping-Pong寄存器文件模块通过配置总线接受来自外部控制处理器的配置信息以及启动计算等控制命令，根据相关配置和控制信息，对数据流进行配置并控制计算过程，同时也向外部控制器发送加速器各单元状态信息以及计算完成中断信号；