[发明专利]一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法

说明书

本发明提出了一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法，包括：应用剪枝技术对超参数化的DNN模型进行稀疏化处理；提出一种分层稀疏编码方法LSC，通过设计元数据的编码机制来提高修剪后的DNN模型的压缩率；设计一种多过程解码机制使得无需完全解码即支持矩阵运算，节省运行内存；所述分层稀疏编码方法通过减少元数据量来最大化压缩率，包括：将压缩过程分为块层和编码层；在块层中，将稀疏矩阵划分为多个小块，然后删除零值块；在编码层中，提出了一种新颖的带标记相对索引方法SRI，来进一步编码这些非零值块；所述多过程解码机制在推断阶段加快编码矩阵的乘法。最后通过实验对比证明所提出的LSC方法相对于其他稀疏编码方法的有效性。

技术领域

本发明涉及一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法，属于机器学习领域。

背景技术

深度神经网络DNN已发展成为许多领域的最新技术，尤其是在计算机视觉，自然语言处理和音频处理领域。但是，隐藏层和神经元的大量增长消耗了相当多的硬件存储和内存带宽，这给现实应用中的许多资源受限的场景带来了严峻的挑战。特别是后摩尔时代的到来减慢了硬件更换周期。具体来说，当前DNN有两个主要瓶颈：1、与资源受限的应用平台，如自动驾驶工具，移动电话，移动机器人和增强现实AR的冲突，这些应用平台对DNN模型的能耗和计算量非常敏感，因此迫切需要一种能耗低但性能好的DNN模型。2、与诸如FPGA，定制ASIC和AI专用芯片等新加速器的冲突，它们是DNN的强大计算加速器，但对硬件存储，内存带宽和并行性也很敏感，显然，DNN有望在享受并行能力的同时减少硬件存储和内存的使用。

为了解决上述瓶颈，提出了许多压缩方法，例如剪枝和量化，采用这些有效的压缩方法可以轻松地减少训练后的DNN模型的权值数。例如，使用经典的基于量级的剪枝方法可以使目标网络的权重矩阵非常稀疏，为了存储和迁移这些稀疏权重，通常将它们分解为两种类型的数据，即非零权重和元数据，同时采用元数据表达索引信息对这些非零权重进行编码和解码，在保证可接受的最终性能时，可以通过尽可能减少非零权重的数量来实现高压缩比；然而编码非零权重需要大量的元数据，这比实际非零权重数量多几倍。

综上所述，大量的元数据是剪枝DNN压缩、存储和迁移的障碍学习压缩DNN模型权重在修剪后变得稀疏，因此近年来如何存储和迁移这些稀疏权重成为人们关注的焦点。通常，根据目标，这些研究可以分为两类：压缩率和并行计算。

大多压缩方法仅基于它们使用的编程框架采用一些经典的稀疏编码方法，例如MATLAB，TensorFlow和Pytorch将COO方法集成为默认稀疏编码方法，而Scipy采用压缩稀疏行/列，简称CSR / CSC来编码稀疏矩阵。最近提出了一些新方法，例如位掩码和相对索引，上述方法能够对稀疏模型进行编码，但它们都是难以并行实现的过程式方法。为了充分利用深度学习加速器的资源，近年来提出了一系列新颖的稀疏编码方法，包括块压缩稀疏列BCSC和嵌套位掩码NB，这些方法适用于并行化环境，但是压缩后的模型仍然消耗大量的存储和内存带宽。

上述两种方法存在的一个重大挑战是难以同时实现高压缩比和高效计算。与这些稀疏编码方法不同，本发明不仅可以使模型并行推断，而且只需要极少的元数据，从而为剪枝的深层模型带来了更高的压缩率。

发明内容

发明目的：提出一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法，以解决现有技术存在的上述问题。

技术方案：一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法，具体包括如下步骤：

步骤1、初始化并训练一个过度参数化的DNN模型；

步骤2、对模型进行剪枝，使尽可能稀疏；