[发明专利]一种神经网络激活函数计算电路

说明书

一种神经网络激活函数计算电路,包括：输入缓存模块、地址映射单元、参数查找表LUT、寄存器、计算单元、输出缓存模块和控制逻辑模块。在控制逻辑模块的控制下通过五级流水线计算电路来实现激活函数的高效计算。本发明基于分段线性插值的近似计算方法，根据配置可实现Sigmoid函数、双曲正切函数Tanh、带参数的线性整流单元PReLU以及归一化指数函数Softmax四种神经网络常用激活函数的近似计算，具有计算效率高、占用资源少、可配置及易于扩展的特点。该神经网络激活函数计算电路结构简单、可靠、易于与其它功能部件配合，并且便于在芯片上实现。

技术领域

本发明涉及一种神经网络激活函数计算电路，特别是一种神经网络处理器和深度学习算法加速器中激活函数计算电路的设计和制造，属于人工智能、计算机技术和集成电路设计领域。

背景技术

近年来，以深度学习为代表的人工智能技术在计算机视觉、语音识别、自然语言处理等领域取得了巨大的突破。为了获得较高的算法执行效率，以及适应嵌入式应用场景，面向特定领域应用的专用神经网络处理器和深度学习硬件算法加速器的设计成为当前的研究热点。激活函数作为神经网络和深度学习算法中不可或缺的一部分，它的计算直接影响到整个算法的执行效率。由于大部分激活函数计算中包含指数计算，而不便于直接采用硬件实现，通常采用近似计算的方法。这些近似计算方法包括：查找表法、泰勒展开式法、坐标旋转数字计算方法CORDIC、多项式近似计算以及分段线性插值法等。这些近似计算方法的硬件实现方式包括了查找表、CORDIC硬件逻辑、通用ALU等。然而，现有的这些激活函数的硬件实现方式存在着需要多个时钟周期来完成，计算效率低，逻辑复杂及占用资源多等缺点。所以探索高效的激活函数硬件设计与实现方式成为神经网络处理器和深度学习算法加速器设计领域亟待解决的技术问题之一。

发明内容

本发明的目的在于克服现有技术的不足，提供一种神经网络激活函数计算电路，是一种广泛适用于神经网络处理器和深度学习算法加速器的激活函数计算电路，本发明计算效率高、结构简单、可靠、便于扩展、方便实现。

本发明实现上述发明目的的技术方案是：

一种神经网络激活函数计算电路，包括：输入缓存模块、地址映射单元、参数查找表LUT、寄存器、计算单元、输出缓存模块和控制逻辑模块；

输入缓存模块：用于缓存接收到的输入神经元N_in，在激活函数计算时，在控制逻辑模块控制下读出神经元X并发送给地址映射单元；

地址映射单元：在控制逻辑模块的控制下根据神经元X的值产生参数查找表LUT地址Addr发送给参数查找表，并将神经元X发送给寄存器进行暂存；

参数查找表LUT：用于存储激活函数进行分段线性插值计算时，所需的参数{a,b}，并在控制逻辑模块的控制下读出参数{a,b}发送给计算单元；

寄存器：接收并暂存来自地址映射单元发送的神经元X，并输出神经元X到计算单元；

计算单元：接收来自参数查找表LUT的参数{a,b}和来自寄存器的神经元X，采用分段线性插值方法，得到激活函数计算结果Y，并将激活函数计算结果Y发送给输出缓存模块；

输出缓存模块：在控制逻辑模块的控制下接收并缓存计算单元输出的激活函数计算结果Y，并根据外部神经网络处理系统控制模块发送的读出信号B_out_Rd将激活函数计算结果Y输出给外部神经网络处理系统输出模块；

控制逻辑模块：接收外部神经网络处理系统控制模块发送的激活函数操作码AF_OP，神经元数量AF_Num以及加载信号Load，产生激活函数计算时各模块的控制信号并输出给对应模块，以及产生归一化指数函数Softmax累加和计算完毕信号Cusum_End输出给神经网络处理系统输出模块。

本发明的神经网络激活函数计算电路相对现有技术，具有以下优点：