[发明专利]计算精度可变的softmax函数硬件电路及其实现方法

说明书

本发明公开了一种计算精度可变的softmax函数硬件电路及其实现方法，该硬件电路包括：最大值模块、映射模块、类别FIFO模块、概率FIFO模块、指数函数模块、加法器模块、自然对数模块、和减法器模块；最大值模块寻找输入数据的最大值；映射模块调整输入数据到筛选区间内；类别FIFO模块存储有效数据的位置；概率FIFO模块存储有效数据的数值；指数函数模块用于计算以自然常数e为底的指数函数；加法器模块累加指数函数模块输出值；自然对数模块计算自然对数函数；减法器模块计算概率FIFO模块和自然对数模块输出值的差。本发明能根据神经网络分类的统计规律动态调整计算量和精度，从而在降低延迟的同时降低功耗面积并提升电路频率。

技术领域

本发明属于集成电路的现场可编程门阵列(FieldProgrammable Gate Array，FPGA)设计技术领域，尤其涉及一种计算精度可变的高速softmax函数硬件系统及其实现方法。

背景技术

2012年，AlexNet夺得大规模视觉识别挑战的冠军，深度神经网络重新成为研究热点。目前，深度神经网络是目标检测和语音识别等领域最流行的技术之一。虽然神经网络的功能和结构各异，但是他们共享诸如卷积层、池化层、全连接层和softmax层等基本组件层。最近与卷积层、池化层和全连接层硬件实现相关的研究极大地提升了神经网络的性能并有效地缩短了神经网络的推理时间。然而，很少有研究者触及softmax层硬件实现相关的研究；

虽然目前的softmax硬件架构能够实现基本功能，但是这些架构也存在着局限性：

1)不能充分利用softmax层输入数据的特点而造成硬件复杂度的提升；

2)softmax硬件架构中的指数函数模块计算精度不足和自然对数模块的精度不稳定而造成系统计算精度较低；

3)softmax硬件架构的数据预处理方法不合理，大量数据拥挤在较小的区间内造成硬件资源的浪费。

指数函数模块和自然对数模块是softmax硬件架构延迟的主要来源，如何缩短关键路径的长度来提升系统的综合频率也是一个急需解决的问题。

发明内容

本发明为了解决上述现有技术存在的不足之处，提出了一种计算精度可变的softmax函数硬件系统及其实现方法，以期能充分利用softmax层输入数据的特点，从而能有效减少计算量，降低延迟的同时降低功耗。

本发明为达到上述目的所采用的技术方案是：

本发明一种计算精度可变的softmax函数硬件电路的特点包括：最大值模块、映射模块、类别FIFO模块、概率FIFO模块、指数函数模块、加法器模块、自然对数模块和减法器模块；

定义输入数据的数量为DN；定义当前输入数据为第i个输入数据，并初始化i＝1；令第i-1个输入数据为所述最大值模块预先存储的初值；其中，DN为大于1的整数，i为小于DN的整数；

所述最大值模块接收外部输入的第i个输入数据，并与第i-1个输入数据进行比较，若第i个输入数据大于第i-1个输入数据，则将第i个输入数据作为预处理数据存入概率FIFO模块，并将位置序号i存入类别FIFO模块；否则，所述最大值模块接收外部输入的第i+1个输入数据并与第i-1个输入数据进行比较和存储，直到iDN为止，从而得到DN个输入数据中的最大值以及存储在概率FIFO模块中的所有预处理数据和相应存储在类别FIFO模块中的位置序号；

所述映射模块根据所述最大值模块输出的最大值，设定筛选区间；再根据所述筛选区间设定映射区间后，从所述概率FIFO模块和类别FIFO模块中分别取出所有预处理数据及其对应的位置序号，并在所有预处理数据中选出处于所述筛选区间内的数据作为有效数据并调整到映射区间中，得到映射数据并存入概率FIFO模块中，同时将有效数据所对应的位置序号存储在类别FIFO模块中；