[发明专利]一种非均匀分段线性化激活函数硬件实现方法

权利要求书

1.一种非均匀分段线性化激活函数的硬件实现方法，其特征在于：考虑到非线性激活函数在不同自变量位置曲率不同，提出一种非均匀分段的方法；考虑到区间内所有点对线性近似函数系数的影响，在各个分段区间内采用线性回归的方法进行拟合；考虑到非线性激活函数硬件实现所需的模块和资源，设计包括输入处理单元，比较器，线性参数存储单元，线性乘加单元和输出数据处理单元所组成的非线性激活函数硬件实现装置。

2.根据权利要求1所述的考虑到非线性激活函数在不同自变量位置曲率不同，提出一种非均匀分段的方法，其特征在于：在非线性激活函数导数最值区间内采用均匀分段的方法，求解出自变量的值及对应的激活函数值组成分段点，将所有分段点按照自变量大小有序排列形成分段点向量，以上完成对非线性激活函数的非均匀分段。

3.根据权利要求1所述的考虑到区间内所有点对线性近似函数系数的影响，在各个分段区间内采用线性回归的方法进行拟合，其特征在于：在分段区间内，将分段端点的激活函数值作为精度细化的依据，等间隔采样并求解出其对应的自变量的值，以上作为区段内线性拟合的数据集。在该数据集上采用线性回归的方法获得线性拟合的参数。

4.根据权利要求1所述的考虑到非线性激活函数硬件实现所需的模块和资源，设计包括输入处理单元，比较器，线性参数存储单元，线性乘加单元和输出数据处理单元所组成的非线性激活函数硬件实现装置。其特征在于：线性乘加单元的输入数据可采用不同精度格式，其中线性函数的一次项系数的数据格式位1位符号位，N-1位小数位，输入数据的数据格式可根据输入的数值范围和精度需求进行调整。将输入数据和一次项系数输入线性乘加单元，输出的数据和激活函数最终输出保持相同的数据格式。