[发明专利]用于深度神经网络的激活函数

说明书

本申请公开了用于深度神经网络的激活函数。一种对用于实现深度神经网络(DNN)的硬件进行配置来执行激活函数的方法，该硬件在用于执行激活函数的激活模块处包括用于储存查找数据的可编程查找表，查找数据在向激活模块的输入值的第一范围上近似激活函数，该方法包括：向该硬件的表达形式提供校准数据；对于向硬件的表达形式的激活模块的输入进行监视，以确定向激活模块的输入值的范围；生成用于查找表的查找数据，该查找数据在所确定的输入值的范围上代表激活函数；以及将所生成的查找数据装载到该硬件的查找表中，从而配置该硬件的激活模块用于在所确定的输入值的范围上执行激活函数。

技术领域

本公开涉及对用于实现深度神经网络的硬件进行配置的方法。

背景技术

深度神经网络(DNN)是一种人工神经网络，在输入层与输出层之间具有多个层。DNN可以被用在机器学习应用中。尤其是，深度神经网络可以用在信号处理应用中，包括图像处理和计算机视觉应用。

DNN通常是在电力资源不是重要因素的应用中实现的。尽管如此，DNN在一些其他的技术领域中也有应用，在这些技术领域中，用来实现DNN的硬件的资源使得电力消耗、处理能力或硅面积有限。此外，针对特定的应用，DNN的定义(definition)可能随时间而改变——原因例如是对DNN的更多训练。

因此需要一种系统来以在面积和电力方面有效率的方式来高效地实现DNN，它对于DNN的定义改变来说是灵活的。

发明内容

这一部分被提供来介绍下文中进一步描述的概念中的一些。这一部分不应被认为标识了所要求保护的主题中的关键特征或必要特征，也不应被用来限制所要求保护的主题的范围。

提供了一种对用于实现深度神经网络(DNN)的硬件进行配置来执行激活函数(activation function)的方法，该硬件在用于执行激活函数的激活模块处包括可编程查找表以储存查找数据，查找数据在向激活模块的输入值的第一范围上近似(approximate)激活函数，该方法包括：

向该硬件的表达形式(representation)提供校准(calibration)数据；

对于向硬件的表达形式的激活模块的输入进行监视，以确定向激活模块的输入值的范围；

生成用于查找表的查找数据，该查找数据在所确定的输入值的范围上代表激活函数；以及

将所生成的查找数据装载到该硬件的查找表中，从而配置该硬件的激活模块用于在所确定的输入值的范围上执行所述激活函数。

该方法还可以包括：

接收向硬件的输入数据流；以及

使用查找表在所确定的输入值的范围上执行激活函数。

DNN可以使用激活模块来执行多个激活函数以处理输入数据流，该方法还可以包括：对于每个激活函数重复这些提供、监视、生成和装载步骤，以生成和装载用于查找表的查找数据，此查找数据代表所述多个激活函数中每一者。

查找表可以包括两组查找数据并能够在这两组查找数据之间切换，在激活模块执行一系列激活函数时，该系列中的第一激活函数与对于该系列中下一激活函数的、所生成的查找数据向查找表的装载可以同时执行。

该方法还可以包括：在接收到向硬件的输入数据流时，检查向激活模块的输入值是否落在所确定的输入值的范围的外部，并且如果向激活模块的输入值落在所确定的输入值的范围的外部，则使用与所确定的输入值的范围的最接近极值(closest extreme)相对应的激活函数值作为激活函数的输出值。