[发明专利]人工神经网络处理方法和系统

说明书

本公开的各实施例涉及一种方法，包括：提供具有多个处理层的ANN处理级，处理层具有相应参数，相应参数包括至少一个权重参数集、至少一个输入/输出激活参数以及至少一个激活函数参数；将网格的维度参数设置为整数值，网格具有多个网格点并且由基矢量集来标识；选择相应处理层的权重参数集；将所选择的权重参数集矢量化，从而产生权重矢量集，权重矢量集被布置为权重矢量矩阵的项；将权重矢量矩阵归一化；对经归一化的权重矢量矩阵应用网格矢量量化LVQ处理，产生码字的码本；通过对码本的码字进行编码为网格的函数来进行索引，从而产生相应索引元组。归一化包括求解优化问题，优化问题具有第一项和正则化项Ω_L。

技术领域

例如，本说明书涉及用于人工神经网络(ANN)处理(例如，诸 如卷积神经网络(CNN)处理)的方法和系统。

例如，一个或多个实施例可以被应用于被配置为执行ANN处理 的硬件加速器引擎(例如，诸如神经处理单元(NPU))。

背景技术

卷积(人工)神经网络(简称为CNN)包括基于计算机的工具， 基于计算机的工具利用深度学习算法来执行图像处理任务。

将大型猫科动物的图像分类为豹或美洲虎可以作为这种处理的 示例被提及。

CNN包括多个层，例如多个(隐藏的)处理层，多个(隐藏的) 处理层被耦合到输入层，并且被配置为将数据处理应用于由其接收的 图像张量。处理层可以包括例如卷积和/或池化处理，并且CNN可以 包括经由隐藏层而被耦合到输入层的输出层。

卷积处理层使用过滤器(也被称为卷积内核)来执行输入图像数 据的卷积，并且将激活函数应用于卷积数据，从而产生特征集作为结 果。

池化处理层通过执行子采样(例如，诸如最大或平均采样)来减 小特征集的维度。

处理层可以使用多达数百万的参数值(也被称为权重)。通过训 练处理级(可能涉及大型训练数据集)来学习权重值，从而设置权重 值。

例如，CNN可以使用多个动物的图片来训练，并且可以被配置为 标识豹或美洲虎。

如上所述，数百万权重值可以在CNN处理中使用，CNN处理可 能使用大的存储器占位面积。

处理层可以涉及权重与特征矢量之间的大量点积运算，从而可能 导致高计算成本。

现有解决方案(例如，如在Choi,Y.,El-Khamy,M.,Lee,J.: “Universal deepneural network compression”,2018,arXiv:1802.02271 中所讨论的)通过权重量化和无损源编码来调查深度神经网络(DNN) 的损耗压缩，以进行存储器有效的部署，从而通过DNN的通用随机 化网格量化而引入“通用”DNN压缩，通用随机化网格量化在网格 量化之前通过均匀随机抖动而将DNN权重随机化并且可以在无需依 赖其概率分布知识的情况下，对任何源近乎最佳地执行。该文献引用 了微调矢量的方法，该方法将DNN量化，从而在量化之后恢复性能 损失。

发明内容

发明人已经实现了诸如Choi等人的讨论的解决方案，该解决方 案可以表现出各种缺点，诸如：

在量化之后CNN的准确性降低；

使用附加的、可能计算繁琐的码字微调处理来应对这样的准 确性降低；以及

CNN性能下降的风险增加。

降低CNN的功耗和成本(例如，有助于可以基于边缘计算的物 联网(IOT)应用)因此是值得追求的目标。

被配置为执行ANN处理的处理电路(诸如神经处理单元(NPU)) 例如可以包括硬件加速器引擎，硬件加速器引擎包括与权重相关联的 压缩/解压缩功能，从而可能减少CNN的存储器存储约束。