[发明专利]一种实现激活函数的电路和包含该电路的处理器

说明书

本发明公开了一种运算电路，适于对数据进行运算。该运算电路包括指数运算单元、除法运算单元、逻辑回归函数运算单元和选择单元。选择单元适于根据运算模式选择指数运算单元、除法运算单元或者逻辑回归函数运算单元的运算输出作为运算结果。逻辑回归函数运算单元耦接到指数运算单元和除法运算单元，并适于在对数据进行逻辑回归函数运算时，利用指数运算单元进行逻辑回归函数运算中的指数运算，并利用除法运算单元进行逻辑回归函数运算中的除法运算。本发明还公开了包含该运算电路的处理器、片上系统和智能设备。

技术领域

本发明涉及处理器领域，尤其涉及用于神经网络运算的电路设计。

背景技术

在人工智能领域，提出了各种神经网络模型来处理在图像、视频、音频和自然语言处理等方面的问题。神经网络模型一般包括多个网络层，每层网络中具有大量的节点，每一层节点处的值可以传递给下一层节点，并有上一层节点的值来激活。因此，在神经网络模型中，需要进行大量的激活函数计算。

在现有技术领域，通常用软件方式来进行激活函数计算，这种方式由于仅仅利用常规的处理器指令来处理，在进行大量激活函数计算时，存在运算性能不强的问题，从而显著影响神经网络的训练和推理速度。

在现有技术领域，也存在硬件加速方案，但是现有的硬件加速方案仅仅以一种或者几种激活函数为目标进行硬件加速处理，而没有看到将各种激活函数的运算进行整合，并同时提供多种激活函数运算的硬件加速方案。

因此，需要一种新的运算电路设计方案，可以提供高效的激活函数运算的硬件加速处理。

发明内容

为此，本发明提供了一种新的运算电路、处理器和片上系统，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种运算电路，适于对数据进行运算。该运算电路包括指数运算单元、除法运算单元、逻辑回归函数运算单元和选择单元。指数运算单元适于对数据进行指数运算；除法运算单元适于对数据进行除法运算；逻辑回归(sigmoid)函数运算单元适于对数据进行逻辑回归函数运算；以及选择单元适于根据运算模式选择指数运算单元、除法运算单元或者所述逻辑回归函数运算单元的运算输出作为运算结果。逻辑回归函数运算单元耦接到指数运算单元和除法运算单元，并适于在对数据进行逻辑回归函数运算时，利用指数运算单元进行逻辑回归函数运算中的指数运算，并利用除法运算单元进行逻辑回归函数运算中的除法运算。

可选地，在根据本发明的运算电路中，指数运算单元包括：指数数据输入模块，适于接收要进行指数运算的数据；指数选择模块，适于根据要运算数据的大小来确定数据所属的区间；指数参数模块，适于提供与所确定的区间相对应的参数，该参数为对指数运算进行泰勒展开所需要的参数；指数乘法模块，适于利用所提供的参数和数据进行乘法运算，以进行针对数据的泰勒展开处理；以及指数结果输出模块，适于获取乘法模块的泰勒展开处理结果，以提供指数运算结果。

可选地，在根据本发明的运算电路中，指数运算单元还包括指数运算控制模块，适于在接收到有效输入指示信号时，指示指数运算单元启动对所接收数据的指数运算处理，并在指数运算单元的预定运算周期过去之后，产生有效输出指示信号，以指示在指数结果输出模块处提供了数据的指数运算结果。

可选地，在根据本发明的运算电路中，除法运算单元包括：除法数据输入模块，适于接收要进行除法运算的数据；第一除法选参数择模块，适于根据进行除法运算的数据的大小来确定第一除法参数；第一除法移位模块，适于根据第一除法参数对进行除法运算的数据进行移位；第二除法参数选择模块，适于根据数据来选择第二或者第三除法参数；乘法模块，适于对第一除法移位模块的输出和第二除法参数选择模块的输出进行乘法运算；第二除法移位模块，适于对乘法模块的输出进行移位操作；以及除法结果输出模块，适于获取第二除法移位模块的输出，作为对述数据进行除法运算的运算结果。