[发明专利]神经网络剪枝

说明书

一种用于在训练期间剪枝神经网络的神经网络(neural network，NN)块的方法和系统，所述NN块包括：卷积运算，所述卷积运算用于使用多个滤波器对输入特征图进行卷积，每个所述滤波器包括多个权重，以生成多个滤波器输出，每个所述滤波器输出对应于相应的滤波器；激活运算，所述激活运算用于为每个所述滤波器输出生成相应的非线性化输出；比例运算，所述比例运算用于通过将所述非线性化输出与掩码函数以及对应于所述滤波器的相应比例因子相乘，按比例缩放针对每个所述滤波器生成的所述非线性化输出。在训练期间：对于对应于滤波器的每个比例因子，通过最小化包括关于所述比例因子的第一正则化函数的损失函数的损失来学习所述比例因子；当所述比例因子的值满足预定标准时，通过从所述卷积运算中屏蔽所述滤波器来对与所述比例因子对应的所述滤波器进行选择性地剪枝。

相关申请案交叉申请

本申请要求于2019年9月5日递交的发明名称为“神经网络剪枝(NEURAL NETWORKPRUNING)”的第62/896,401号美国临时专利申请案和于2020年9月4日递交的发明名称为“神经网络剪枝(NEURAL NETWORK PRUNING)”的第17/012,818号美国专利申请案的权益和在先申请优先权，该在先申请的内容以引入的方式并入本文。

技术领域

本发明大体涉及一种人工神经网络。更具体地，本发明涉及神经网络的块。

背景技术

人工神经网络(neural network，NN)是基于生物大脑工作方式建模的计算系统。NN由多个简单、高度互连的处理元素组成，这些处理元素通过其对外部输入的动态响应来处理信息。NN可以通过考虑示例来学习执行推理任务，诸如对象检测、图像分类、聚类、语音识别或模式识别。NN通常不需要使用任何任务特定规则进行编程。相反，NN从其处理的示例中学习。

卷积神经网络(convolutional neural network，CNN)是前馈NN的一个子类，这些前馈NN具有针对推理任务优化的计算层的不同逻辑表示。CNN已经成为解决计算机视觉、自然语言处理和模式识别推理任务的强大工具。为了提高精度，NN架构的设计趋势向着更大(例如，更深)、更复杂的NN发展。这不可避免地增加了在推理任务期间执行的运算的数量，以至于在软件或硬件NN系统中实现NN系统的成本可能很高。NN系统越来越依赖于使用专门设计的、计算能力强大的系统，该系统采用一个或多个专用处理单元、加速器和支持存储器。在一些示例中，专用处理单元、加速器和支持存储器封装在公共集成电路中。深度NN系统所需的计算能力强大的系统会增加财务成本，以及物理空间和热冷却需求方面的辅助成本。相应地，人们对NN压缩技术的兴趣与日俱增，这些技术可以减少推理任务所需的NN运算的数量，从而使得NN能够部署在计算受限的环境中，与典型非压缩NN系统的要求相比，这些环境可以例如使用功能相对较小的处理单元、功能相对较大(或没有任何功能)的加速器和较小内存。计算受限的环境可以例如包括由边缘设备提供的软件和/或硬件环境，其中，内存、计算能力和电池受到限制。例如，可以对具有成本效益的、计算受限的设备(诸如边缘设备)采用NN压缩技术，可以实现这些设备以解决诸如机器人、自动驾驶、无人机和物联网(internet of things，IOT)等应用中的实际问题。

NN通常可以包括所述NN的输入与输出之间的至少一个NN块(例如，隐藏NN层)。所述至少一个块可以例如包括多个运算，诸如卷积运算。图1A示出了可以用于实现NN的隐藏层101的基本NN块104的计算图表示的示例，图1C示出了包括多个隐藏层101的NN100的示意图。每个层101包括多个虚拟神经元102，其中，虚拟突触103互连各层。图1C所示的NN 100是完全连接的，其中，每个层101中的每个神经元102接收相同的一组输入，并且连接到连续层中的所有神经元102。层101可以使用相应的NN块104实现，其中，多个连续的NN块104互连以形成NN 100。

在一些示例中，NN块104对应于NN 100中的卷积层。在一些情况下，NN 100可以包括NN块100之间的中间层，诸如池化层。