[发明专利]面向二值神经网络的二值化装置、方法及应用

说明书

本发明涉及一种面向二值神经网络的二值化装置，包括：数据接收单元，用于接收神经网络待二值化的非二值输入数据和预设的二值化参数，其中，所述非二值输入数据是神经元数据和/或权值数据；二值化计算单元，用于针对所述输入数据执行二值化计算；数据输出单元，用于输出所述二值化计算单元获得的二值化结果。

技术领域

本发明涉及计算领域，特别涉及一种面向二值神经网络的计算装置及方法。

背景技术

神经网络是人工智能领域具有高发展水平的感知模型之一，因广泛的应用和出色的表现使其成为了学术界和工业界的研究热点。神经网络通过模拟人类大脑的神经连接结构来建立模型结构，为大规模数据(例如图像、视频或音频)处理任务带来了突破性进展，该模型结构是一种由大量节点通过网状互联结构构成的运算模型，其中的节点被称为神经元，每两个节点间的连接强度都代表通过该连接信号在这两个节点间的加权值，被称为权重，对应于人类神经网络中的记忆。

二值神经网络是指在一般神经网络的基础上，将其权重矩阵中的权值和/或神经元数据进行了二值化得到的一种新型神经网络。因其具有精简的数据规模以及简便的运算方式，一经出现就成为了学者们的重点研究对象，但是，在现有技术中还没有在神经网络加速器上实现面向二值神经网络的专用二值化装置，这对二值神经网络的推广使用十分不利。

因此，需要一种特别适用于二值神经网络的低成本且高灵活性的二值化装置及方法。

发明内容

本发明提供一种面向二值神经网络的计算装置及方法，包括：

数据接收单元，用于接收神经网络待二值化的非二值输入数据和预设的二值化参数，其中，所述非二值输入数据是神经元数据和/或权值数据和/或卷积运算结果；

二值化计算单元，用于针对所述输入数据执行二值化计算；

数据输出单元，用于输出所述二值化计算单元获得的二值化结果。

优选的，所述二值化计算单元包括比较模块和赋值模块，所述比较模块用于将非二值输入数据与二值化参数相比较并获得比较结果；所述赋值模块根据所述比较结果将所述非二值输入数据的数据值对应转化为二值数据值。

优选的，所述二值化参数为预设的阈值，所述比较模块将所述非二值输入数据的每一个数值分别与所述阈值相比较，若所述非二值输入数据的数值大于或等于所述阈值，则所述赋值模块将所述数值对应转化为1，反之则为0。

优选的，所述赋值模块根据所述非二值输入数据每一个数值的正负对所述非二值输入数据进行转化；其中，若所述非二值输入数据的数值为正或为0，则对应转化为1；若所述非二值输入数据的数值为负，则对应转化为0。

优选的，所述二值化参数根据所述非二值输入数据的值域范围进行预设。

优选的，所述二值化参数根据所述非二值输入数据的分布规律进行预设。

根据本发明的另一个方面，还提供一种面向二值神经网络的联合装置，包括如上所述的二值化装置和与所述二值化装置相连的参数调节单元，所述参数调节单元与所述数据接收单元相连，用于调节所述数据接收单元接收的所述预设的二值化参数。

根据本发明的另一个方面，还提供一种面向二值神经网络的联合装置，包括如上所述的二值化装置和与所述二值化装置相连的激活单元，所述激活单元与所述数据接收单元相连，用于针对神经网络中待激活的向量运算结果执行激活运算，并将激活运算结果传输至所述数据接收单元。

根据本发明的另一个方面，还提供利用上述二值化装置对二值神经网络进行二值化的方法，包括以下步骤：

接收神经网络的待二值化的非二值输入数据和预设的二值化参数；

将所述非二值输入数据与所述预设二值化参数相比较并获得比较结果；