[发明专利]神经网络加速设备及其操作方法

说明书

本申请涉及一种神经网络加速设备以及其操作方法。该神经网络加速设备包括：零值过滤器，被配置成通过将权重施加到输入特征来过滤零(0)值，并且通过将包括相对坐标和组边界信息的索引信息与输入特征的数据元素进行匹配生成压缩数据包；乘法器，被配置成通过对压缩数据包的输入特征和权重执行乘法运算来生成结果数据；以及特征图提取器，被配置成对基于从乘法器传送的结果数据的相对坐标和组边界信息的相乘结果数据执行加法运算，并且通过重排加法运算的结果值来生成输出特征图。

相关申请的交叉引用

本申请要求于2019年4月26日向韩国知识产权局提交的申请号为10-2019-0049176的韩国专利申请的优先权，该韩国专利申请通过引用整体并入本文。

技术领域

各个实施例总体可以涉及一种半导体装置，并且更特别地，涉及一种神经网络加速设备以及该神经网络加速设备的操作方法。

背景技术

卷积神经网络(CNN)应用可以是主要用于图像识别和分析的神经网络应用。这些应用可能需要使用特定过滤器从图像中提取特征的卷积运算过滤器。执行乘法运算和加法运算的矩阵乘法单元可以用于卷积运算。当卷积系数中的0(零)分布较少时，例如，当系数的稀疏度(等于零的分数)较小时，矩阵乘法单元可以高效地用于处理稠密(即低稀疏度)图像和过滤器。但是，由于CNN应用中所使用的多数图像和过滤器的稀疏度约为30％至70％，因此可能包括大量的零(0)值。零值可能在执行卷积运算时产生不必要的延迟和功耗。

因此，需要有在CNN应用中高效执行卷积运算的方法。

发明内容

实施例提供了一种具有改进的操作性能的神经网络加速设备以及其操作方法。

在本公开的实施例中，一种神经网络加速设备可以包括：零值过滤器，被配置成通过将权重施加到包括多个数据元素的输入特征来过滤零(0)值，并通过将包括相对坐标和组边界信息的索引信息与输入特征的数据元素进行匹配生成压缩数据包；乘法器，被配置成通过对压缩数据包的输入特征和权重执行乘法运算来生成结果数据；以及特征图提取器，被配置成对基于相对坐标和组边界信息的结果数据执行加法运算，并通过以原始输入特征形式重排加法运算的结果值来生成输出特征图。

在本公开的实施例中，一种神经网络加速设备的操作方法可包括：接收输入特征和权重，输入特征包括多个数据元素；通过将权重施加到输入特征来过滤零(0)值，并通过将包括相对坐标和组边界信息的索引信息与输入特征的数据元素进行匹配来生成压缩数据包；通过对压缩数据包的输入特征和权重执行乘法运算生成结果数据；对基于结果数据的相对坐标和组边界信息的相乘的结果数据执行加法运算，并通过以原始输入特征形式重排加法运算的结果值来生成输出特征图；并且将激励函数应用于输出特征图，将输出特征图改变为非线性值，并通过执行池化处理生成最终输出特征图。

根据本公开的实施例，由于略过输入特征的零值和权重是根据步长值来支持的，因此神经网络加速设备的操作性能的改善是可以预期的。

根据本公开的实施例，可以减少不必要的延迟和功耗。

这些和其它特征、方面和实施例将在以下标题为“具体实施方式”的部分中进行阐述说明。

附图说明

从结合附图的以下详细描述，将更清楚地理解本公开的主题的上述信息和其它方面、特征和优点，其中：

图1示出根据本公开的实施例的神经网络加速设备的配置。

图2示出根据本公开的实施例的对输入特征的数据元素(例如，像素)进行分组的方法。

图3和图4示出根据本公开的实施例的数据包的示例。

图5示出根据本公开的实施例的检测输入特征的零值的方法。