[发明专利]一种集成电路中激活函数运算方法、装置及电路

说明书

本发明提供了一种集成电路中激活函数运算方法、装置及电路，涉及集成电路领域，通过该方法，在获取激活函数输入数据后，将激活函数输入数据调整至符合激活函数预设输入范围；并根据对激活函数输入数据的调整，对激活函数参数中的激活函数系数进行调整；再根据调整后的激活函数系数，对符合激活函数预设输入范围的激活函数输入数据进行激活函数运算。由于将激活函数输入数据调整到了符合激活函数预设输入范围，并适应性调整了激活函数系数，使得运算结果仍然对应调整前的激活函数输入数据，通过该方法，可以使得激活函数能够进行较大范围的运算，同时其逻辑简单，激活函数运算成本和功耗较低。

技术领域

本发明属于集成电路领域，具体涉及一种集成电路中激活函数运算方法、装置及电路。

背景技术

在VLSI(Very Large Scale Integration，超大规模集成电路)上实现CNN(Convolutional Neural Network，卷积神经网络)，必然要实现激活函数层。然而受到ASIC设计规则的相关约束，算法模型必须利用RTL(Register Transfer Level，寄存器传输级(数字电路抽象描述))实现，其中会遇到输出数据饱和，运算定点化，支持的运算模式单一，以及动态范围不足等问题。

激活函数层必须要解决运算定点化问题，并且有尽可能好的动态范围，适应不同种类的激活函数。

通常情况下，目前使用浮点运算单元进行激活函数运算，精度高，动态范围大。但是，使用浮点运算单元进行激活函数运算，逻辑多且时序差，占用很大的ASIC面积，成本和功耗很高。

为降低成本和功耗，以及减少占用的ASIC(Application Specific IntegratedCircuit，专用集成电路)面积，也可以使用专门的电路实现特定的激活函数，精度高，逻辑少，时序好，占用ASIC面积少，成本和功耗低。但是其动态范围小，可以进行的激活函数运算必须是限定的几种，应用受到制约。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种集成电路中激活函数运算方法、装置及电路，以实现以较低的成本和功耗进行较多种类激活函数的运算。

依据本发明的第一方面，提供了一种集成电路中激活函数运算方法，包括：

获取激活函数输入数据，并将所述激活函数输入数据调整至符合激活函数预设输入范围；

根据对所述激活函数输入数据的调整，对输入的激活函数参数中的激活函数系数进行调整；

根据调整后的激活函数系数，对符合所述激活函数预设输入范围的激活函数输入数据进行激活函数运算。

进一步，所述获取激活函数输入数据，并将所述激活函数输入数据调整至符合激活函数预设输入范围，具体包括：

获取激活函数输入数据，并确定所述激活函数输入数据的统计结果；

根据所述激活函数输入数据的统计结果，将所述激活函数输入数据调整至符合激活函数预设输入范围。

更进一步，所述激活函数输入数据的统计结果，具体包括：

激活函数输入数据的直方图分布规律；和/或

激活函数输入数据的极值。

更进一步，所述根据所述激活函数输入数据的统计结果，将所述激活函数输入数据调整至符合激活函数预设输入范围，具体包括：

根据所述激活函数输入数据的统计结果，通过偏置调整和/或系数调整，将所述激活函数输入数据调整至符合激活函数预设输入范围。

进一步，所述根据对所述激活函数输入数据的调整，对输入的激活函数参数中的激活函数系数进行调整，具体包括：