[发明专利]一种超导二值神经网络加速方法及加速器

说明书

本发明提出一种超导二值神经网络加速方法和加速器，包括：获取待运行的神经网络第一层所有的实值权重和实值激活，分别作为当前权重和当前激活，并二值化当前权重和当前激活，得到二值权重和二值激活；将所有二值权重及其对应的二值激活构成的数据对，输入至神经处理单元中的多个同或门，以对各个数据对完成乘法运算；通过纯组合累加并行单元对所有乘法运算结果进行累加，并将累加结果和预设阈值输入至比较器，并将比较结果作为下一层的二值激活，直到得到超导二值神经网络最后一层的比较结果，作为超导二值神经网络的运行结果。本发明使BNN中第一层也可进行二值化计算，且不会损失精度；本发明还避免了反馈环和存储电路，提高超导BNN的性能。

技术领域

本发明涉及超导快速单磁通量子RSFQ和神经网络计算领域，并特别涉及一种超导二值神经网络加速方法及加速器。

背景技术

超导单磁通量子(Single Flux Quantum,SFQ)电路技术被ITRS列为极具前景的下一代集成电路技术。超导RSFQ电路是SFQ电路的一种，具有超高速度和超低功耗。研究证实，用亚微米约瑟夫逊结技术制造的简单RSFQ电路最高可以工作在770GHz的频率，这种高速是半导体集成电路所难以企及的。在相同工艺条件下，RSFQ电路中逻辑门延迟和位操作功耗都比对应的半导体电路低两个数量级。

RSFQ电路中最基本的器件是由约瑟夫森结(Josephson Junction,JJ)构成的超导环，JJ是开关元件。与CMOS电路不同，RSFQ电路的存储部件是电感而不是电容。超导环中的磁通量子化为Φ＝n*Φ₀，其中Φ₀＝2.07×10^-15Wb。信息以磁通量子的形式存储，以SFQ电压脉冲的形式传输。脉冲存在表示逻辑“1”，不存在表示逻辑“0”。与CMOS电路不同，在RSFQ逻辑中，几乎所有的逻辑门都需要时钟信号，以将存储的磁通量子传播到输出端。由于一个RSFQ逻辑门可以看成是一级流水，为此RSFQ电路是完全门级流水的电路。逻辑深度是指带时钟逻辑门的级数。

二值神经网络(BinarizedNeural Network，BNN)是一种量化到极致的神经网络，可部署在资源有限的设备上。BNN中，激活和权重都是用1位(1bit)来表示，从而大大节省了存储容量和计算量。为了将实值的权重或激活变量x量化为1bit，常使用Sign(x)函数实现二值化：

其中，x^b是实值的权重或激活变量x对应的二值化的值。在全精度卷积神经网络中非线性激活函数f，可以表示为：

在BNN中，除第一层外，其余层的神经元的激活和权重都只有两个可能的值，即-1或+1。因此，等式(2)中的权重和激活之间的乘积与和，可以替换为逻辑同或(XNOR)操作和popcount操作。popcount操作的功能是计算一个数据向量中的1的个数。而且，最终的结果可以通过比较popcount和一个训练得到的阈值μ得到，且，阈值μ是通过训练得到的，因此每一层的阈值μ不一定相同。因此，对于一个BNN，等式(2)变为：

公式2中的w和x是float32浮点数(小数)，公式3中的w^b和x^b表示二值化之后的w和x，也就是说w^b和x^b都是1bit的数(0或1)，b代表是binarized。

为了使用硬件实现BNN，已有研究基于FPGA(Field Programmable Gate Array)或ASIC(Application Specific Integrated Circuit)提出了很多BNN推理加速器。然而，这些设计中均基于传统CMOS实现，可达到的最高性能和能效有限。

发明内容