[发明专利]一种神经网络加速电路和方法

说明书

本发明实施例公开了一种神经网络加速电路和方法，所述神经网络加速电路包括：数据存储模块，用于存储神经网络计算所需的输入数据；数据缓存模块，用于缓存所述数据存储模块输出的输入数据；计算模块，包括多个计算单元，所述计算单元用于对所述数据缓存模块输出的输入数据进行计算以得到输出数据；延时处理模块，用于对所述输出数据进行延迟处理后同时输出延迟处理后的输出数据。本发明实施例提出的神经网络加速电路解决了神经网络加速电路中时序和计算并行度之间的矛盾，使神经网络加速电路工作在较高的时钟频率也能有较高的计算并行度，提高了神经网络加速电路的计算能力。

技术领域

本发明实施例涉及神经网络领域，尤其涉及一种神经网络加速电路和方法。

背景技术

近年来，神经网络发展迅速，被广泛应用于计算机视觉和自然语言计算。神经网络加速器具有高能效和大规模并行计算的特点，逐渐成为一个热门研究课题。

神经网络加速电路通常采用很高的并行度来快速完成神经网络算法所需要的海量计算任务，由于计算形式的规整性，加速电路会首先设计基本的计算单元，用这种计算单元来实现算法中的基本操作，然后大量复制这种计算单元来达到高的计算并行度。图1示出了典型的神经网络加速电路结构，输入数据RAM和权值数据RAM每周期输出大量的数据，通过数据分配器给到各个计算单元进行计算。根据具体并行计算的方式不一样，计算单元之间通常会复用相同的输入数据或者相同的权值，因此电路中会存在某一个模块的输出数据同时直连到其他多个模块。

这种神经网络加速电路要求输入数据RAM和权值RAM输出的数据在同一时钟周期同时到达所有计算模块，当计算单元并行度较高时，某几个计算单元放置的位置可能距离输入数据RAM和权值RAM较远，相应的数据到达这些计算模块需要的时间也会更长，从而导致时钟较高时，这些较长的走线会导致信号的建立时间不满足，从而限制电路能够工作的最高时钟频率；而要使电路能够工作在较高的时钟频率，时序要求则限制了电路的计算并行度。

发明内容

有鉴于此，本发明实施例提供一种神经网络加速电路和方法，以解决神经网络加速电路中时序和计算并行度之间的矛盾，使神经网络加速电路工作在较高的时钟频率也能有较高的计算并行度。

第一方面，本发明实施例提供一种神经网络加速电路，包括：

数据存储模块，用于存储神经网络计算所需的输入数据；

数据缓存模块，用于缓存所述数据存储模块输出的输入数据；

计算模块，包括多个计算单元，所述计算单元用于对所述数据缓存模块输出的输入数据进行计算以得到输出数据；

延时处理模块，用于对所述输出数据进行延迟处理后同时输出延迟处理后的输出数据。

进一步的，所述数据存储模块包括第一数据存储子模块和第二数据存储子模块，所述第一数据存储子模块包括第一数据存储单元和第一控制单元，所述第一数据存储单元用于存储神经网络计算所需的第一输入数据，所述第一控制单元用于向所述计算模块发出控制信号。

进一步的，所述第二数据存储子模块包括第二数据存储单元和第二控制单元，所述第二数据存储单元用于存储神经网络计算所需的第二输入数据，所述第二控制单元用于控制所述第二数据存储单元的读写操作。

进一步的，所述数据缓存模块包括第一寄存器单元和第二寄存器单元，所述第一数据存储单元与所述第一寄存器单元连接，所述第二数据存储单元与所述第二寄存器单元连接。

进一步的，所述第一寄存器单元包括n个依次串联连接的第一寄存器，所述第二寄存器单元包括n个依次串联连接的第二寄存器。

进一步的，所述计算模块包括n个计算单元，第i个计算单元与第i个第一寄存器连接，第i个计算单元还与第i个第二寄存器连接，其中，i≤n。