[发明专利]一种卷积神经网络中卷积运算数据复用装置

说明书

本发明提供了一种卷积神经网络中卷积运算数据复用装置，包括4个RAM、一个数据整形复用器、以及一组乘累加计算单元，其中，第一RAM和第二RAM为真双端口ram，用于存放输入的待计算图像，第三ram用于存储卷积核，第四ram于存储乘累加后的结果；数据整形复用器包括一组D触发器搭建的时序电路，实现了对数据的复用；乘累加计算单元包括乘累加单元，多组乘累加单元组合在一起并行计算，构成一个乘累加计算单元。本发明通过构建一个数据整形复用器，实现了前后两个时钟周期数据的复用，使得每个时钟周期只读取部分数据到数据整形复用器中，通过在数据整形复用器中适当的移位操作就可以组合成下一排计算所需要的全部数据。

技术领域

本发明涉及一种卷积神经网络中卷积运算数据复用装置。

背景技术

随着人工智能时代的到来，以卷积神经网络(ConvolutionNeuralNetwork，简称CNN)为代表的深度神经网络，已经广泛应用于图像分类、物体检测、视频监控等领域。然而，在以CPU或GPU为中心的通用计算系统中，难以应对CNN中大量的数据搬运和复杂的计算带来的挑战，尤其是CNN网络中计算规模最大的卷积核计算。以一副图像进行3x3卷积核计算为例，在计算的过程中存在大量的数据复用情况的发生，若每次计算都需要CPU从内存中读取9个待计算数据和9个卷积核数值，则最多时一幅图像内的同一个数据需要重复读取9次，当有9个卷积核需要同时计算时，则同一个数据需要重复读取81次。CPU大量的时间都会花费在数据的搬移上，大大影响了运算执行的效率。

发明内容

有鉴于此，本发明旨在提出一种卷积神经网络中卷积运算数据复用装置，以解决同一数据被大量重复从内存频繁搬移的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种卷积神经网络中卷积运算数据复用装置，包括4个RAM、一个数据整形复用器、以及一组乘累加计算单元，其中，

第一RAM和第二RAM为真双端口ram，连接数据整形复用器，用于存放输入的待计算图像，第三ram连接乘累加计算单元，用于存储卷积核，第四ram连接乘累加计算单元，用于存储乘累加后的结果；

数据整形复用器包括一组D触发器搭建的时序电路，实现了对数据的复用；

乘累加计算单元包括乘累加单元，多组乘累加单元组合在一起并行计算，构成一个乘累加计算单元，其中，乘累加单元包括一个乘法器和一个加法器。

进一步的，所述数据整形复用器包括四个行移位器，每一个行移位器内部包括深度为4宽度为1的移位寄存器，移位寄存器包括4个D触发器，在行移位器内部，数据移位的方向可以在两个方向上移位，在4个行移位器之间，也可以在两个方向上移位。

进一步的，所述数据整形复用器中，第一行移位器的输出端通过选通器连接第二行移位器，第四行移位器的输出端通过选通器连接第三行移位器，第二行移位器的输入端通过选通器连接第四行移位器的输入端，第一行移位器的输入端通过选通器连接第三行移位器的输入端，第一行移位器的输入端通过选通器连接第四行移位器的输入端。

进一步的，设计数据整形复用器4种动作，分别为上移、下移、左移、右移，

当左移发生时，每个行移位器中，第二D触发器reg2的数据存入第一D触发器reg1中，第三D触发器reg3的数据存入第二D触发器reg2中，第四D触发器reg4的数据存入第三D触发器reg3中，从ram中读出的数据分别存入每个行移位器的第四D触发器reg4中；

当右移发生时，每个行移位器中，第三D触发器reg3的数据存入第四D触发器reg4中，第二D触发器reg2的数据存入第三D触发器reg3中，第一D触发器reg1的数据存入第二D触发器reg2中，从ram中读出的数据分别存入每个行移位器的第一D触发器reg1中；