[发明专利]一种片上学习神经网络处理器

权利要求书

1.一种片上学习神经网络处理器，其特征在于，包括：神经状态控制器模块、数据接口模块、神经网络前向运算控制模块、神经网络学习算法控制模块、神经运算单元模块、神经元权值缓存区模块、激活函数模块、数据缓存区模块连接、随机初始化模块以及数据预处理模块；

所述神经状态控制器模块分别与所述数据接口模块、神经元权值缓存区模块、神经网络前向运算控制模块、神经网络学习算法控制模块、激活函数模块、数据缓存区模块连接，所述神经状态控制器模块控制数据接口模块进行数据交互，并监控所述神经网络前向运算控制模块、神经网络学习算法控制模块的工作状态，同时产生当前的神经工作状态，并控制所述神经运算单元模块、神经网络前向运算控制模块、神经网络学习算法控制模块根据当前神经工作状态进行同步工作；

所述神经运算单元模块根据系统配置的运算类型及运算规模对输入数据进行神经运算，可采用基于Booth算法设计的一种高速低功耗流水线乘法器构成一种二维运算阵列结构，可进行高速低功耗的神经网络卷积运算及矩阵乘累加运算，可通过编程配置神经运算类型及运算规模；

所述片上学习神经网络处理器通过将神经网络学习算法进行硬件映射，所述神经网络学习算法控制模块根据系统配置的算法进行控制神经网络进行学习；

所述神经网络学习算法控制模块采用误差反向传播算法；

所述误差反向传播算法采用可变步长学习，加入动态最优学习因子、动量因子及自适应学习率，并且对算法进行硬件映射，可编程选择训练算法；

所述数据预处理模块将神经网络输入、输出数据进行预处理；

其中对神经网络输入数据可采用零均值化、归一化、中心化、白化的方法进行预处理；对神经网络输出数据可采用线性回归、逻辑回归、多项式回归的方法进行预处理；

所述随机初始化模块与所述神经元权值缓存区模块相连，所述随机初始化模块产生随机数据对神经元权值缓存区进行随机初始化；

所述随机初始化模块采用线性同余法LCG、梅森旋转法、线性反馈移位寄存器的方法实现。

2.如权利要求1所述的片上学习神经网络处理器，其特征在于，所述神经网络前向运算控制模块分别与所述神经运算单元模块、神经网络学习算法控制模块、神经状态控制器模块连接；

所述神经网络前向运算控制模块通过数据总线将神经元权值缓存区、数据缓存区内的数据载入到神经运算单元模块进行神经元运算，并将神经运算单元的运算结果载入到激活函数模块进行神经元激活运算，神经元激活运算完成后将运算结果缓存入数据缓存区模块中；

所述神经网络前向运算与神经网络反向传播运算复用同一神经运算单元模块，且所述神经运算单元模块的运算类型及运算规模可以通过编程配置。

3.如权利要求2所述的片上学习神经网络处理器，其特征在于，所述神经元权值缓存区模块与所述数据接口模块、随机初始化模块、数据预处理模块连接，离线推理模式下所述神经元权值缓存区模块从数据接口模块载入神经元权值与偏置数据，片上学习模式下，所述神经元权值缓存区读取所述随机初始化模块输出的随机数据作为输入数据。

4.如权利要求3所述的片上学习神经网络处理器，其特征在于，所述激活函数模块对神经运算结果进行非线性映射，采用数字电路方法来拟合神经网络运算中所需的激活函数；

所述数字电路方法由高效的组合逻辑电路实现，可由多输入与门、或门实现。

5.如权利要求4所述的片上学习神经网络处理器，其特征在于，所述数据接口模块与所述神经状态控制器模块、数据缓存区模块、神经元权值缓存区模块连接，离线推理模式下所述数据接口模块负责将预测数据及神经网络配置参数载入数据缓存区中，将神经元权值与偏置数据载入至神经元权值缓存区中，片上学习模式下，所述数据接口模块负责将训练样本数据及神经网络配置参数载入到数据缓存区中。

6.如权利要求5所述的片上学习神经网络处理器，其特征在于，所述数据缓存区模块与所述数据接口模块、数据预处理模块、激活函数模块连接，所述数据缓存区模块负责缓存从数据接口模块输入的数据及神经运算结果数据；

所述数据缓存区模块采用乒乓缓存设计，加入缓存数据预取技术。