[发明专利]一种面向卷积神经网络的可重构近似张量乘加单元及方法

说明书

本发明公开了一种面向卷积神经网络的可重构近似张量乘加单元，该单元输入一组基于n×n卷积核的16bit输入与8bit权重，并最终输出一个乘加结果。重构后的部分积阵列规模为n×n×17，其中n×n为行数，17为列数。经过扩展符号位后相加得到一个输出，每个部分积阵列得到的输出经过移位，排列后形成新的部分积矩阵，该部分积矩阵累加后的输出即为乘加单元最终的输出结果。优化卷积操作中大量的乘加运算，并实现低功耗、高速度地完成计算任务。

技术领域

本发明属于可重构计算领域，具体涉及一种面向卷积神经网络的可重构近似张量乘加单元及方法。

背景技术

在过去的几十年里，基于低功耗人工智能的物联网系统的设计和优化变得非常重要。这是因为这些电池供电的物联网设备需要具有低功耗和可靠精度的定制神经网络加速器来高效地处理每个神经网络层的能量计算。

卷积神经网络，是深度学习的代表算法之一，卷积神经网络主要分为卷积层、池化层和全连接层，它通过局部感知的方式对输入进行特征提取和分类。在语音识别、图像识别、图像分割，自然语言处理等领域中得到了广泛应用。

由于神经网络的计算中并不需要完全精确的结果，因此引入了近似计算。近似计算是一种新兴的基于人工智能的物联网设备电路设计技术，通过牺牲一定的精度，在满足精度要求的前提下，通过近似设计，提高电路的运算速度并显著降低设计成本。通过近似计算，能在一定程度上提高电路的性能并改良电路特性。卷积操作中涉及大量的乘加操作，这些操作需要消耗大量的计算资源，因此，提出了一种面向卷积神经网络的可重构近似张量乘加单元，它能改进传统乘完再加的运算方式面积大、功耗高的问题，为卷积神经网络中的乘加操作带来低功耗、高速的解决办法。

发明内容

本发明所要解决的技术问题是：提出一种面向卷积神经网络的可重构近似张量乘加单元及方法，以优化卷积操作中大量的乘加运算，并实现低功耗、高速度地完成计算任务。

一种面向卷积神经网络的可重构近似张量乘加单元，包括依次连接的编码及生成部分积电路、部分积重组电路、部分积阵列加法电路和最终累加电路。

输入n×n张量数据和权重到编码及生成部分积电路，编码及生成部分积电路对权重进行编码，并对输入的n×n张量数据每一位进行混合布斯编码操作后生成部分积矩阵，生成的部分积矩阵将被顺序输出到部分积重组电路当中。

部分积重组电路将部分积矩阵的相同行放在一起，对部分积矩阵进行重新排列，并生成n×n重组部分积阵列，所生成的n×n重组部分积阵列的数量由权重的位数决定，每个n×n行重组部分积阵列依次输出到部分积阵列加法电路当中。

部分积阵列加法电路将输入的每个n×n行重组部分积阵列累加，形成累加结果，将累加结果分别经过移位后形成最终部分积向量，最终部分积向量的数量与n×n重组部分积阵列的数量相同，所述最终部分积向量均为一行部分积向量，所有的最终部分积向量经最终累加电路后，最终累加电路的输出即为乘加单元最终的输出结果。

本发明的一种面向卷积神经网络的可重构近似张量乘加单元输入一组n×n张量数据与权重到编码及生成部分积电路，所述的n×n张量数据可以是n×n卷积核，16bit，编码及生成部分积电路对权重进行编码，并对输入的n×n张量数据每一位进行混合布斯编码操作后生成部分积矩阵，生成的部分积矩阵被顺序输出到部分积重组电路当中，部分积重组电路将输入的部分积矩阵按照相同行排列在一起的原则进行重新排列，即将部分积矩阵中同样位于第一行的部分积排列在一起构成重组部分积阵列，位于其他行的部分积也做相同的操作，对于编码及生成部分积电路中输入的是8bit权重来说，重组部分积阵列为三个重组部分积阵列。对于16bit输入，每行重组部分积阵列大小均为n×n×17，其中n×n为阵列的行数，其大小为n×n的卷积核规模，17为阵列的列数，将三个重组部分积阵列将输入到部分积阵列加法电路中，累加结果经过移位后形成三个最终部分积向量，再经最终累加电路后的输出即为乘加单元最终的输出结果。