[发明专利]一种多计算精度神经网络处理方法和系统

说明书

本发明涉及一种多计算精度神经网络处理方法与系统，该方法包括：步骤S1，从指令存储单元读取需要执行的指令，对该指令进行解析得到存储地址，并从该存储地址获取输入数据和权重；步骤S2，将该输入数据的位宽及该权重的位宽分别解码拓展为处理器设计最大数据位宽，生成原始数据和原始权重；步骤S3，分析该原始数据的位宽，关断计算单元阵列中的部分计算单元，并执行神经网络运算中的运算操作，生成计算数据；步骤S4，将该计算数据的位宽编码为神经网络下一层所需数据位宽，生成打包数据，并将该打包数据输出。本发明可使神经网络不同层采用不同的数据精度参与计算，在保证计算精度的前提下，减少了片上存储量，降低了数据传输能量损耗。

技术领域

本发明涉及神经网络模型计算的硬件加速领域，特别涉及一种多计算精度神经网络处理器。

背景技术

深度神经网络是人工智能领域具有最高发展水平的感知模型之一，该类网络通过建立模型模拟人类大脑的神经连接结构，通过多个变换阶段分层对数据特征进行描述，为图像、视频和音频等大数据处理任务的应用带来了突破性进展。由于神经网络模型对环境噪声及信号完整性问题具有足够的鲁棒性，因此计算数据的部分丢失不会对计算结果产生灾难性影响，实现神经网络运算的神经网络处理器可被看做为一种近似计算处理器。

随着深度学习技术的快速进展，通用神经网络处理器深入到图像分类、语音识别、智能机器人等人工智能领域的不同应用领域，这些应用的共同特征为属于近似计算领域。该类应用通过采集海量数据集进行有效训练完成预测、分类等功能，而不过分依靠数值计算的准确性来得到最终结果，然而在嵌入式设备及小规模数据中心中，由于其系统结构特点及应用领域需求，处理器在实际工作时难以依托海量数据来实现高准确度计算的目的，因此通过近似计算的思想，利用神经网络模型内在的精度容忍性，通过在不同神经网络层采用不同数据位宽成为缓解片上资源、能耗、精度之间矛盾的行之有效方式。

目前的神经网络处理器为了保证较高计算精度，通过需要计算数据具有在一定数据位宽，即数据精度，较大的位宽意味着较大存储容量和带宽访问，这将造成较大的能量损耗。本发明通过设计一款具有多计算精度的神经网络处理器，使该处理器可在神经网络不同层采用不同的数据精度参与计算，在保证计算精度的前提下，减少了片上存储量，降低了数据传输能量损耗。

发明内容

针对神经网络处理器的上述缺陷，本发明提供一款具有多计算精度的神经网络处理器，使该处理器可在神经网络不同层采用不同的数据精度参与计算，在保证计算精度的前提下，减少了片上存储量，降低了数据传输能量损耗。

为实现上述目的，本发明提供了一种多计算精度神经网络处理方法，其中包括以下步骤：

步骤S1，从指令存储单元读取需要执行的指令，对该指令进行解析得到存储地址，并从该存储地址获取输入数据和权重；

步骤S2，将该输入数据的位宽及该权重的位宽分别解码拓展为处理器设计最大数据位宽，生成原始数据和原始权重；

步骤S3，分析该原始数据的位宽，关断计算单元阵列中的部分计算单元，并执行神经网络运算中的运算操作，生成计算数据；

步骤S4，将该计算数据的位宽编码为神经网络下一层所需数据位宽，生成打包数据，并将该打包数据输出。

该多计算精度神经网络处理方法，其中该步骤S2包括：

步骤S21，接收并存储该权重和该输入数据；

步骤S22，对该权重和该输入数据进行移位处理，以使该权重和该输入数据的最高位与处理器最大数据位宽的最高位对齐，并将对齐后的数据发送至步骤S23；

步骤S23，将对齐后的该数据扩展至原始数据完整位宽。

该多计算精度神经网络处理方法，其中该步骤S4包括：