[发明专利]用于神经网络推理的芯片及加速神经网络推理的方法

说明书

本发明涉及人工智能领域，提供一种用于神经网络推理的芯片及加速神经网络推理的方法。所述用于神经网络推理的芯片包括存算单元，所述存算单元包括多个不同输入长度的存储计算阵列，多个所述存储计算阵列用于部署与其输入长度相对应的卷积核。本发明通过在存算单元中增设对应不同输入长度的存储计算阵列，以适配经过剪枝的卷积核，在降低功耗的同时最大化利用算力资源，可满足算力资源利用率和低功耗的需求。

技术领域

本发明涉及人工智能领域，具体地涉及一种用于神经网络推理的芯片以及一种加速神经网络推理的方法。

背景技术

卷积神经网络算法包含大量参数，采用常规训练方法得到的卷积神经网络模型的参数量非常大，通常在百兆大小的量级，而推理运算需要消耗大量运算资源，硬件资源珍贵的嵌入式平台无法承受存储负担。

为了加快卷积神经网络算法在芯片上的推理速度，目前发展出了多种模型轻量化方法。网络剪枝是深度神经网络压缩中广泛使用的方法。例如，将网络中所有权重参数都看作单个参数的最优脑损伤(optimal braindamage，OBD)方法，优化时基于对角假设、极值假设和二次假设利用二阶导数近似参数显著性移除网络中不重要的权重来提高网络精度和泛化能力。由于单个权重剪枝为非结构化剪枝，剪枝部分参数将会得到稀疏网络，使得剪枝后的卷积核不规则，导致芯片难以兼顾算力资源利用率和低功耗的问题。

发明内容

本发明实施方式的目的是提供一种用于神经网络推理的芯片及加速神经网络推理的方法，以解决上述的芯片难以兼顾算力资源利用率和低功耗的问题。

为了实现上述目的，本发明一方面提供一种用于神经网络推理的芯片，包括存算单元，所述存算单元包括多个不同输入长度的存储计算阵列，多个所述存储计算阵列用于部署与其输入长度相对应的卷积核。

进一步地，所述存储计算阵列上部署的卷积核是经过剪枝和聚类的。

进一步地，所述存算单元包括四个存储计算阵列，四个存储计算阵列的输入长度分别为1位、3位、6位、9位。

进一步地，所述1位的存储计算阵列用于部署1位参数的卷积核；

所述3位的存储计算阵列用于部署2位或3位参数的卷积核；

所述6位的存储计算阵列用于部署4位至6位参数的卷积核；

所述9位的存储计算阵列用于部署7位至9位参数的卷积核。

进一步地，每个所述存储计算阵列对应一个卷积核，多个所述存储计算阵列并行运算。

本发明另一方面提供一种加速神经网络推理的方法，基于权利要求1所述的用于神经网络推理的芯片，所述方法包括：

对卷积神经网络的各层卷积核参数进行剪枝和聚类；

将聚类后的卷积核分配到所述用于神经网络推理的芯片的与所述卷积核的参数位相对应的存储计算阵列。

进一步地，所述对卷积神经网络的各层卷积核参数进行剪枝和聚类，包括：对卷积神经网络的各层卷积核参数进行剪枝；对剪枝后的各层卷积核参数进行量化；对量化后的各层卷积核参数进行聚类。

进一步地，所述对卷积神经网络的各层卷积核参数进行剪枝，包括：

获取所述卷积神经网络的各层卷积核的参数值，将各层卷积核的小于预设阈值的参数剪掉。

进一步地，所述将聚类后的卷积核分配到所述用于神经网络推理的芯片的与所述卷积核的参数位相对应的存储计算阵列，包括：

将1位参数的卷积核分配到1位的存储计算阵列；

将2位或3位参数的卷积核分配到3位的存储计算阵列；

将4位至6位参数的卷积核分配到6位的存储计算阵列；