[发明专利]稀疏深度卷积网络权重的压缩

说明书

本公开描述了用于操作神经网络的方法、计算机可读介质和装置。例如，第一装置可接收稀疏权重向量集。第一装置可压缩该稀疏权重向量集以产生经压缩稀疏权重向量集。第一装置可基于该经压缩稀疏权重向量集来操作神经网络。在另一示例中，第二装置可接收稀疏权重向量集。第二装置可基于该稀疏权重向量集来执行稀疏计算，并且该稀疏计算的执行可产生一个或多个部分和。第二装置可至少部分地基于该一个或多个部分和来操作神经网络。

相关申请的交叉引用

本申请要求于2017年9月21日提交的题为“COMPRESSION OF SPARSE DEEPCONVOLUTIONAL NETWORK WEIGHTS(稀疏深度卷积网络权重的压缩)”的美国临时申请No.62/561,640、以及于2018年9月20日提交的题为“COMPRESSION OF SPARSE DEEPCONVOLUTIONAL NETWORK WEIGHTS(稀疏深度卷积网络权重的压缩)”的美国专利申请No.16/137,491的优先权，这两件申请通过援引全部明确纳入于此。

背景

领域

本公开的某些方面一般涉及神经网络，且更具体地涉及改进稀疏神经网络权重的压缩的系统和方法。

背景

可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。

卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体而言，CNN已经在模式识别和分类领域中被广泛使用。

深度学习架构(诸如深度置信网络和深度卷积网络)是分层神经网络架构，其中第一层神经元的输出变成第二层神经元的输入，第二层神经元的输出变成第三层神经元的输入，依此类推。深度神经网络(DNN)可被训练以识别特征阶层并且因此它们已被越来越多地用于对象识别应用。类似于卷积神经网络，这些深度学习架构中的计算可分布在处理节点群体上，其可被配置在一个或多个计算链中。这些多层架构可每次训练一层并可使用后向传播微调。

神经网络越来越多地用于各种应用中。然而，一些神经网络可例如在对计算和/或功率资源有限制的设备中产生计算和功耗开销。将在具有有限的可用计算和/或功率资源的设备上实现的神经网络可超过那些有限的可用资源的阈值。例如，移动设备、可穿戴设备和/或物联网(IoT)设备可包括可被一些神经网络超出的计算(例如，片上)资源和/或功率(例如，电池)资源。因此，可需要一种用于在具有有限的计算和/或功率资源的各种设备上实现的优化神经网络的办法。

概述

以下给出了一个或多个方面的简要概述以提供对此类方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在标识出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是以简化形式给出一个或多个方面的一些概念以作为稍后给出的更详细描述之序言。

本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。