[实用新型]一种基于随机计算的神经网络随机数发生器共享电路

说明书

本实用新型属于新型计算技术领域，公开了一种基于随机计算的神经网络随机数发生器共享电路，应用于人工神经网络电路；包括随机数模块，比特流生成模块，随机计算模块和数据存储模块。所述随机计算模块包括多个神经计算单元，所述神经计算单元包括乘法电路，带缩放加法电路以及激活函数电路，所述带缩放加法电路基于并行累加器，能够降低运算电路对输入比特流非相关性的要求，进而使随机数发生器可以在整个人工神经网络电路中共享，一个完整神经网络仅需使用一个随机数发生器。相比于现有的基于随机计算的神经网络电路，本实用新型极大的节省硬件资源，降低功耗，同时提高运算精度。

技术领域

本实用新型属于新型计算技术领域，尤其涉及一种基于随机计算(StochasticComputing，SC)的神经网络随机数发生器(Random number generator，RNG)共享电路，应用于人工神经网络(Artificial Neural Network，ANN)电路。

背景技术

随着大数据产业和人工智能的发展，数字信号处理系统越来越复杂，其中需要用到大量的浮点数乘加、卷积等特定运算，常规处理器芯片在进行这些运算时效率较低，执行能耗大，无法支撑所需的大规模并行计算需求。

随机计算电路是近年来的研究热点，其使用随机比特流(bit stream)来表示数值参与运算。随机计算中比特流常用单极型(Unipolar)和双极型(Bipolar)表示法。设比特流序列长度为m，其中“1”有n1个，则其概率P＝n1/m，当使用单极型表示法时，其表示的数值为P；当使用双极型表示法时，其表示的数值为2P–1。在此数据表征系统中，数据间的运算可以简化为简单的逻辑门运算，使用与门可以完成单极型乘法运算，使用同或门可以完成双极型乘法运算。对于加法运算，传统随机计算加法器一般由双路数据选择器组成，通过在选择端施加概率为0.5的高度随机序列，将两路输入比特流数据A、B重新组合，得到值为(A+B)/2的输出比特流。值得注意的是，在所述的随机计算乘法和加法运算电路中，输入比特流间需具有非相关性，以保证运算结果的准确性。

人工神经网络是新兴的数据处理技术，它从信息处理角度对人脑神经网络进行抽象，建立数学模型。人工神经网络的核心部分是人工神经元，每个神经元接收来自其它网络层神经元的输出，将它们乘以权重参数后求和，并加上偏移量参数，最后将总和应用激活函数后再传递给下一个或多个神经元。多层互联的神经元结构组成完整的人工神经网络，可以应用于图像分类、语音识别等领域。

将随机计算与人工神经网络结合，可以把网络中涉及的大量乘法和加法运算分别用单个逻辑门和数据选择器实现，极大的节省硬件资源占用，降低电路功耗。

然而，现有技术中，基于随机计算的神经网络电路有两个缺陷：

第一，虽然随机计算运算电路成本低，但其转换电路成本高，将传统二进制数据转化为随机比特流需要使用随机数发生器，网络运算结果需要使用计数器将其转换成二进制输出。神经网络计算节点数目庞大，导致其转换电路面积约占整个运算电路的80％，降低了随机计算运算部分的成本优势；

第二，现有技术使用数据选择器完成网络中的加法运算，对选通序列随机性要求以及输入比特流间的非相关性要求较高，同时大量计算节点数据相加需将多个数据选择器级联使用，其求和结果误差不断累积，使整个神经网络的识别率较大幅度降低。

因此，需要使用新的电路结构进一步降低转换电路的资源占用率，并且减小随机计算加法运算的误差，提高网络的识别率。

实用新型内容

针对现有技术存在的问题，本实用新型提供了一种基于随机计算的神经网络随机数发生器共享电路，在优化电路架构的同时减少资源占用。