[发明专利]一种神经网络实时结构化剪枝的方法和系统

说明书

本发明公开了一种神经网络实时结构化剪枝的方法和系统，涉及人工智能技术领域。该方法包括：配置数据检测方案；计算本阶段输入数据并将计算结果写入存储单元；根据数据检测方案对计算结果进行检测，获得其数据特征；根据剪枝要求对数据特征进行判断，若数据特征满足剪枝要求，则对计算结果进行剪枝操作，且本阶段的该部分数据不参与后续运算；若数据特征不满足剪枝要求，则正常执行后续计算流程。本发明通过对输入数据进行实时结构化剪枝，降低了模型前向推理过程中的计算量，提高模型推理效率；本发明在数据写入存储单元的同时实现数据检测，不占用额外的数据访存时间；释放满足剪枝要求的数据所占的存储空间，减少推理过程中的运算空间需求。

技术领域

本发明属于人工智能技术领域，尤其涉及一种神经网络实时结构化剪枝的方法和系统。

背景技术

神经网络模型在计算机视觉、语音识别等应用中发挥着重要作用。虽然神经网络模型是一种高效的数据处理方法，可以自动学习数据间的关联特征。但神经网络模型的参数量大、计算量大，在嵌入式终端设备上部署时，推理计算的实时性较差。由于神经网络模型具有一定的冗余性，因此在能够保证神经网络模型准确度的前提下，压缩网络模型成为目前研究的热点。

剪枝操作是模型压缩的重要内容，通过对神经网络模型进行剪枝操作，可以减少神经网络模型前向推理所需的参数量、计算量。剪枝操作分为非结构化剪枝和结构化剪枝。其中非结构化剪枝操作可以对网络模型的参数进行更加精细化的处理。然而目前大多数深度学习框架和硬件无法加速稀疏矩阵的计算，如果要跳过剪枝后的参数，还要设计相关的索引模块，大大增加模型执行的复杂度。所以非结构化剪枝在实际运算时对加快计算速率作用较小，甚至不如剪枝前的计算速率快。结构化剪枝模型在网络结构上与传统模型没有差异，可以得到现成深度学习库的支持。在跳过剪枝结构时，所要生成的中间表示也更加便捷。因此，结构化剪枝是目前应用较多的剪枝技术。

剪枝操作的本质，是通过减少或跳过对计算结果影响小的计算步骤，从而达到减少计算量、加速模型计算的效果。由于计算结果是由输入数据和模型参数共同决定的，传统的剪枝操作主要为针对模型参数进行的剪枝处理，而针对输入数据的剪枝研究工作较少。通过对神经网络模型各阶段输入数据进行实时的结构化剪枝，能有效减少模型推理的计算量，加速计算速率。

发明内容

本发明的目的在于提供一种神经网络实时结构化剪枝的方法和系统，通过对神经网络模型各阶段输入数据进行实时的结构化剪枝，有效减少了模型推理的计算量，提高模型推理效率。

本发明的目的可以通过以下技术方案实现：

第一方面，本申请实施例提供了一种神经网络实时结构化剪枝的方法，包括以下步骤：

S101，配置数据检测方案；

S102，计算本阶段输入数据并将计算结果写入存储单元；

S103，根据所述数据检测方案对所述计算结果进行检测，并获得其数据特征；

S104，判断所述数据特征是否满足剪枝要求，若满足，则对所述计算结果进行剪枝操作；否则，将所述计算结果作为后续阶段输入数据，并执行步骤S105；

S105，重复执行步骤S101～步骤S104；

其中，所述步骤S102和步骤S103同时进行。

作为本发明的一种优选技术方案，在所述算法过程的不同阶段采用相同或不同的数据检测方案。

作为本发明的一种优选技术方案，计算单元从所述存储单元中读取本阶段的待计算数据，并将其作为所述本阶段输入数据进行计算。