[发明专利]Softmax函数的设计优化及硬件实现方法及系统

权利要求书

1.一种Softmax函数的设计优化及硬件实现方法，其特征在于，包括如下步骤：

第一输入步骤：进行第一遍输入；

第一指数运算步骤：针对多个输入数据，通过查找表实现指数运算；

累加步骤：对多个输入数据的指数运算结果求和，得到分母；

求倒步骤：对分母求倒得出分母的倒数；

第二输入步骤：进行第二遍输入；

第二指数运算步骤：通过查找表实现指数运算，计算出分子；

最终乘法步骤：对分母的倒数和分子相乘，得到最终结果；

通过数量级获取单元做到硬件决定输出定点化方案，数量级获取单元的具体运算方式如下：

数量级获取单元会获取同一组数据的指数运算结果并按位求或，最终的求或结果通过计数与判断数得高位连续为零的个数Z₁，同时数量级获取单元也会得到累加器的结果并通过计数与判断数得高位连续为零的个数Z₂，接着把Z₁与Z₂传给求倒单元从而让求倒单元取得指数运算单元结果和累加器结果的有效位，达到不损失精度条件下减小位宽从而减小资源与功耗的目的；同时因为求倒运算的延迟与位宽紧密相关，求倒运算的延迟也相应减小了，输出的定点化方案也由Z₁和Z₂算得，设输出总位宽为W_out，输出定点化方案小数位宽为W_frac，指数运算单元输出位宽为W_exp，累加器输出位宽为W_accu，则W_frac＝(W_exp-Z₁)-(W_accu-Z₂)-(W_out-1)。

2.根据权利要求1所述的Softmax函数的设计优化及硬件实现方法，其特征在于，所述查找表由外部配置并存储在片上。

3.根据权利要求1所述的Softmax函数的设计优化及硬件实现方法，其特征在于，还包括查找表拆分步骤：

将1个寻址位宽为16位的查找表分为4个寻址位宽为4位的查找表，并使用3个乘法器，求出4个查找表数据的积，得到完整的指数运算结果。

4.根据权利要求1所述的Softmax函数的设计优化及硬件实现方法，其特征在于，采用restoring算法实现对分母求导。

5.根据权利要求1所述的Softmax函数的设计优化及硬件实现方法，其特征在于，还包括数量级获取步骤：

获取同一组数据的指数运算结果并按位求或，获取分母结果，实现输出定点化。