[发明专利]卷积运算装置及卷积神经网路的卷积输入的调规方法

说明书

本发明涉及卷积运算装置及卷积神经网路的卷积输入的调规方法。一种卷积运算装置，包括卷积运算模块、存储器、规模控制模块以及调规器。卷积运算模块输出多个带小数部的卷积运算结果；存储器耦接卷积运算模块，接收并储存带小数部的卷积运算结果，以及输出多个带小数部的卷积运算输入值；规模控制模块耦接卷积运算模块，根据带小数部的卷积运算结果的整体规模产生调规信号；调规器耦接存储器、规模控制模块及卷积运算模块，根据调规信号调整带小数部的卷积运算输入值的规模，然后将调整规模后的带小数部的卷积运算输入值输出至卷积运算模块。

技术领域

本发明涉及一种卷积运算装置，尤其涉及一种能调规卷积输入值的卷积运算装置及方法。

背景技术

深度学习(deep learning)已是开展人工智慧(Artificial intelligence,AI)的重要应用技术之一。其中，卷积神经网路(Convolutional Neural Network，CNN)则是近年来，引起广泛重视的一种深度学习高效识别技术。与其他深度学习架构相比，特别是在模式分类领域的应用，例如图像和语音识别方面，卷积神经网路避免了复杂的前期预处理，且可以直接输入原始图像或原始数据，因而得到了更为广泛的应用并可取得优选的识别结果。

然而，卷积运算是一种很耗费效能的运算，在卷积神经网路的应用中，特别是涉及到小数的卷积运算，经过多层的卷积层计算后造成截断误差(truncation error)或进位错误(ceiling error)。因此，有必要提出一种卷积运算装置，能减少截断误差或进位错误，实为当前重要的课题之一。

发明内容

鉴于上述课题，本发明提出一种能够减少截断误差或进位错误的卷积运算装置以及方法。

一种卷积运算装置，包括卷积运算模块、存储器、规模控制模块以及调规器。卷积运算模块输出多个带小数部的卷积运算结果；存储器耦接卷积运算模块，接收并储存带小数部的卷积运算结果，以及输出多个带小数部的卷积运算输入值；规模控制模块耦接卷积运算模块，根据带小数部的卷积运算结果的整体规模产生调规信号；调规器耦接存储器、规模控制模块及卷积运算模块，根据调规信号调整带小数部的卷积运算输入值的规模，然后将调整规模后的带小数部的卷积运算输入值输出至卷积运算模块。

在一个实施例中，带小数部的卷积运算结果是卷积神经网路的第N-1层的运算结果，带小数部的卷积运算输入值是卷积神经网路的第N层的运算输入，N为大于1的自然数。

在一个实施例中，在存储器中卷积神经网路的最终层的带小数部的卷积运算结果是不经反向调规至应有规模而直接作为输出。

在一个实施例中，在存储器中卷积神经网路的最终层的带小数部的卷积运算结果是经反向调规至应有规模后作为输出。

在一个实施例中，规模控制模块包括检测器以及估算器。检测器耦接卷积运算模块，检测带小数部的卷积运算结果的整体规模；估算器耦接检测器并接收至少一个卷积运算系数，根据带小数部的卷积运算结果的整体规模以及卷积运算系数估算可能的卷积运算规模，并由此产生调规信号。

在一个实施例中，当可能的卷积运算规模相对小时，调规信号控制调规器将带小数部的卷积运算输入值放大。

在一个实施例中，当可能的卷积运算规模相对大时，调规信号控制调规器将带小数部的卷积运算输入值缩小。

在一个实施例中，检测器包括计数单元、第一积分单元、平均单元、平方单元、第二积分单元以及变异单元。计数单元累计带小数部的卷积运算结果的个数以输出一整体个数；第一积分单元，累计带小数部的卷积运算结果的值以输出总值；平均单元耦接计数单元及第一积分单元，将总值除以整体个数以产生平均值；平方单元将各带小数部的卷积运算结果的值平方以输出多个平方值；第二积分单元耦接平方单元，累计平方值以产生平方总值；变异单元耦接计数单元及第二积分单元，将平方总值除以整体个数以产生变异值；其中，平均值及变异值代表带小数部的卷积运算结果的整体规模。