[发明专利]用于神经网络参数实时动态解压缩的矢量量化解码硬件单元

说明书

本公开的实施例涉及用于神经网络参数实时动态解压缩的矢量量化解码硬件单元。电子设备的实施例包括集成电路、在集成电路中形成的可重构流开关以及多个卷积加速器和被耦合到可重构流开关的解压缩单元。解压缩单元在卷积神经网络操作过程期间实时解压缩编码内核数据。

技术领域

本公开总体涉及在传感器系统中实现的卷积神经网络。

背景技术

深度学习算法在涉及识别、标识和/或分类任务的众多应用中提升了非常高的性能，然而，这种进步可能以处理功率方面的重大需求为代价。因此，由于缺乏低成本和节能的解决方案，它们的采用可能受到阻碍。因此，在嵌入式设备上部署深度学习应用时，严格的性能规范可以与功耗和能耗方面的严格限制共存。

发明内容

在一个实施例中，一种卷积神经网络处理系统包括：输入层，被配置为接收输入数据；以及输入层，被配置为接收编码内核数据并且基于编码内核数据生成解压缩的内核数据。系统包括卷积加速器，被配置为接收解压缩的内核数据、基于输入数据接收特征数据，以及对特征数据和解压缩的内核数据执行卷积运算。该系统包括全连接层，被配置为从卷积加速器接收卷积数据并且基于卷积数据生成预测数据。

在一个实施例中，一种方法包括通过卷积神经网络的解压缩单元接收编码内核数据，其中编码内核数据包括用于矢量量化码本的索引数据。该方法包括将矢量量化码本存储在解压缩单元的查找表中，通过利用索引数据从查找表中检索码矢量来通过解压缩单元生成解压缩的内核数据，以及在卷积神经网络的卷积加速器处接收特征数据。该方法包括通过卷积加速器从解压缩单元接收解压缩的内核数据，并且通过卷积加速器对解压缩的内核数据和特征数据执行卷积运算。

在一个实施例中，一种方法包括用机器学习过程训练卷积神经网络，通过机器学习过程生成用于卷积神经网络的卷积层的内核数据，以及通过在内核数据上执行矢量量化处理、利用卷积神经网络外部的编码器，生成包括索引数据和码本数据的编码内核数据。该方法包括在机器学习过程之后的卷积神经网络的操作期间，将编码的内核数据提供给卷积神经网络的解压缩单元。该方法包括将矢量量化码本存储在解压缩单元的查找表中，通过索引数据从查找表中检索码矢量来使用解压缩单元生成解压缩的内核数据，并且将解压缩的内核数据提供给卷积层。

附图说明

图1是根据一个实施例的电子设备的一部分的框图。

图2A是根据一个实施例的电子设备的卷积神经网络的框图。

图2B是根据一个实施例的卷积运算的图示。

图3是根据一个实施例的卷积神经网络的解压缩单元的框图。

图4是根据一个实施例的卷积神经网络的卷积加速器的框图。

图5是根据一个实施例的电子设备的片上系统的框图。

图6是根据一个实施例的图像和卷积神经网络处理子系统的框图。

图7是根据一个实施例的方法的流程图。

图8是根据一个实施例的方法的流程图。

具体实施方式

图1是根据一个实施例的电子设备100的框图。电子设备100包括卷积神经网络(CNN)102。CNN 102接收输入数据108并且生成预测数据111。CNN 102部分地通过对输入数据108执行一个或多个卷积运算来生成预测数据111。

在一个实施例中，输入数据108由电子设备100的图像传感器(未示出)或另一类型的传感器提供。因此，输入数据108可以包括与由图像传感器捕获的一个或多个图像相对应的图像数据。图像数据被格式化以使其可以由CNN 102接收。CNN 102分析图像数据并且生成预测数据111。预测数据111指示与图像数据的一个或多个方面相关的预测或分类。预测数据111可以对应于识别图像的形状、对象、面或其它方面。