[发明专利]用于深度神经网络的经学习阈值修剪

说明书

一种用于基于经学习阈值来修剪人工神经网络的权重的方法包括：基于分类损失和正则化损失的函数来确定用于修剪多个预训练权重中的第一组预训练权重的修剪阈值。响应于第一组预训练权重中的每个预训练权重的第一值大于修剪阈值，第一组预训练权重被修剪。响应于该多个预训练权重中的第二组预训练权重中的每个预训练权重的第二值大于修剪阈值，微调或调整第二组预训练权重。

相关申请的交叉引用

本申请要求于2020年10月9日提交的题为“LEARNED THRESHOLD PRUNING FORDEEP NEURAL NETWORKS(用于深度神经网络的经学习阈值修剪)”的美国专利申请No.17/067,233的权益，该美国专利申请要求于2019年10月11日提交的题为“LEARNED THRESHOLDPRUNING FOR DEEP NEURAL NETWORKS(用于深度神经网络的经学习阈值修剪)”的美国临时专利申请No.62/914,233的权益，这些申请的公开内容通过援引全部明确纳入于此。

背景

技术领域

本公开的各方面一般涉及修剪深度神经网络。

背景技术

卷积神经网络使用许多计算和存储资源。因此，可能难以将传统的神经网络部署在具有有限资源的系统上，诸如云系统或嵌入式系统。一些传统的神经网络被修剪和量化以减少处理器和存储器使用。期望改进修剪方法以提高系统性能。

概述

在本公开的一方面，提供了一种方法。该方法包括：基于分类损失和正则化损失的函数来确定用于修剪多个预训练权重中的第一组预训练权重的修剪阈值。该方法还包括：响应于第一组预训练权重中的每个预训练权重的第一值大于该修剪阈值来修剪第一组预训练权重。另外，该方法包括：响应于该多个预训练权重中的第二组预训练权重中的每个预训练权重的第二值大于该修剪阈值来调整第二组预训练权重。

在本公开的另一方面，提供了一种装置。该装置包括存储器以及耦合至该存储器的一个或多个处理器。该处理器被配置成：基于分类损失和正则化损失的函数来确定用于修剪多个预训练权重中的第一组预训练权重的修剪阈值。该处理器还被配置成：响应于第一组预训练权重中的每个预训练权重的第一值大于该修剪阈值来修剪第一组预训练权重。另外，该处理器被配置成：响应于该多个预训练权重中的第二组预训练权重中的每个预训练权重的第二值大于该修剪阈值来调整第二组预训练权重。

在本公开的另一方面，提供了一种装备。该装备包括：用于基于分类损失和正则化损失的函数来确定用于修剪多个预训练权重中的第一组预训练权重的修剪阈值的装置。该装备还包括：用于响应于第一组预训练权重中的每个预训练权重的第一值大于该修剪阈值来修剪第一组预训练权重的装置。另外，该装备包括：用于响应于该多个预训练权重中的第二组预训练权重中的每个预训练权重的第二值大于该修剪阈值来调整第二组预训练权重的装置。

在本公开的进一步方面，提供了一种非瞬态计算机可读介质。该计算机可读介质上编码有程序代码。该程序代码由处理器执行并且包括：用于基于分类损失和正则化损失的函数来确定用于修剪多个预训练权重中的第一组预训练权重的修剪阈值的代码。该程序代码还包括：用于响应于第一组预训练权重中的每个预训练权重的第一值大于该修剪阈值来修剪第一组预训练权重的代码。此外，该程序代码包括：用于响应于该多个预训练权重中的第二组预训练权重中的每个预训练权重的第二值大于该修剪阈值来调整第二组预训练权重的代码。

本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。

附图简述