[发明专利]用于生成神经网络的二值权重的方法和系统

说明书

一种用于神经网络的处理器，包括：权重概率分析模块，配置为基于神经网络的一个或多个层的一组输入权重生成至少表示一组输入权重中的每个输入权重与二元值相关联的概率的数据；方案生成模块，配置为针对所述权重的至少一个选定分组，基于针对选定的所述权重确定的概率生成至少表示一个或多个潜在二值权重矩阵的数据；方案选择模块，配置为至少生成表示每个潜在二值权重矩阵的矩阵特定概率值的数据，根据预定编码方法生成用于表示每个潜在二值权重矩阵的数据比特数的数据，并且基于所述矩阵特定概率值和所述数据比特数对潜在二值权重矩阵进行选择；以及权重生成模块，配置为根据所述选定的潜在二值权重矩阵生成表示一个或多个二值权重的数据。

技术领域

本发明涉及一种用于生成神经网络的二值权重的改进的方法和系统，其中具体地，二值权重是基于概率因子及其压缩特性来生成的。

背景技术

当前，已经针对不同的应用开发了不同的神经网络架构。对于使用相同架构的神经网络，具有更多层和更多参数的网络通常会在执行神经网络任务的过程中实现更高的准确性。例如，基于VCG-16的卷积神经网络(CNN)(具有16层，1.38亿个参数)通常可以实现比基于AlexNet的CNN(具有8层和6000万个参数)更高的准确性，而后者通常可以实现比基于LeNet-5(具有5层和60,000个参数)的CNN更高的准确性。同样的原则适用于更现代的架构，诸如ResNet和DenseNet。

神经网络、尤其是卷积神经网络的问题在于，这些网络所执行的运算通常会消耗大量的硬件资源，这阻碍了此类网络在资源受限的环境(例如，小型、电池供电的设备)中的应用。例如，对卷积层中的浮点权重执行的乘积累加(MAC)运算可能需要大量的数据处理和存储器资源。此外，同样需要大量的存储器资源来存储神经网络的每个卷积层或全连接层中的权重。然而，根据神经网络的实施环境，可用于实施神经网络的此类硬件资源的数量通常受到物理或实际限制。

此前已经提出了几种方法来帮助减少神经网络所需的硬件资源。此类方法包括，例如，基于权重大小修剪网络中的连接，以及将权重从原始浮点值(例如，长度为10到64比特)量化为预定比特长的固定点值(例如，长度为16比特、8比特、4比特、2比特或1比特)。另一种方法是开发二值神经网络(BNN)架构，该架构使用二值化权重来处理二值化数据输入。BNN中的运算通常更容易在硬件中实现，其中，例如，可以针对相关二值权重执行更简单的异或非(XNOR)逻辑运算，而无需执行MAC运算。

当前，已经提出了几种方法来减少BNN的资源需求。例如，可以确定每个权重的翻转频率，其中，可以修剪翻转频率高于某预定阈值的权重(因为其对BNN所产生的输出影响有限)。在另一示例中，可以对二值卷积神经网络(BCNN)的权重矩阵进行修剪然后进行压缩。从权重矩阵的一端开始，将二值权重矩阵中的非零比特逐步修减(或更改)为零比特，并在当二值权重矩阵的更改导致识别准确性大大降低时停止。然后权重矩阵中具有相同值的权重的连续序列可以被压缩(例如，映射到表示不同长度的连续零比特序列的预定义值)。在又一示例中，可以估计BNN中每个权重的敏感性，然后基于阈值将每个权重划分为敏感权重和非敏感权重。该阈值是基于BNN中由存储在以接近/低于阈值电压运行的非可靠存储器中的非敏感二值化权重值的变化引起的误差确定的，并对该阈值进行调整以实现一组最佳的非敏感权重。

在以上方法中，生成二值权重矩阵，然后分开进行处理以实现压缩。此类矩阵是在不考虑所得矩阵的压缩特性的情况下生成的。此外，在以上方法中，权重矩阵只能包含两个二元值之一。这些方法没有考虑给定二值权重矩阵的细微变化的可能性(当考虑与每个权重相关联的概率时)，其中，这些细微变化中的某一些可以比其他变化更有利于被压缩。

本发明旨在解决上述问题中的一个或多个问题。具体地，本发明的代表性实施例旨在提供一种通过考虑输入权重的概率来生成具有理想压缩特性的二值权重矩阵的改进方式。

发明内容

一方面，本发明提供了一种用于神经网络的处理器，该处理器包括：