[发明专利]用于对神经网络进行后训练量化的方法和装置

说明书

提供了一种用于对神经网络进行动态点量化以实现更高精度和更低存储要求的方法和装置(100)。传统的神经网络模型需要海量磁盘空间，这增加了与这些模型关联的计算成本，从而要求用户设备提供大量的性能和功率。本发明聚焦于量化深度学习模型，从而与传统模型相比，降低存储要求，而不损害精度，同时还实现更高的性能。所述神经网络通过如下方式来量化：确定输入是正数还是负数(901)；确定所述输入的指数范围(902)；确定所述输入的层参数的最大范围(903)；确定所述输入的层的偏移量(904)；通过将所述输入转换为其对应的二进制形式来执行指数调整(905)，并通过将所述偏移量与指数调整值相加来确定所述输入的指数表示(906)。

技术领域

本申请要求于2019年10月30日提交给印度专利局、发明名称为“用于对神经网络进行后训练量化的方法和装置(METHOD AND APPARATUS FOR QUANTIZATION OF NEURALNETWORKS POST TRAINING)”的第IN201931043851号印度专利申请的优先权，该申请通过全文引用并入本文。

本文描述的主题大体上涉及深度学习模型，更具体涉及用于量化神经网络(例如存储的神经网络模型的权重和参数)的方法和装置。

背景技术

机器学习是人工智能(artificial intelligence，AI)的一种应用，它利用统计技术为计算机系统提供在不显示编程的情况下，利用数据进行“学习”的能力，例如，逐步提高针对特定任务的性能。机器学习模型接收输入并根据接收到的输入生成输出，例如预测输出。有些机器学习模型是参数模型，根据接收到的输入和模型的参数值生成输出。

机器学习领域的最先进技术包括深度神经网络，这些深度神经网络采用由多个处理层组成的计算模型，这些计算模型利用多个抽象层学习数据(通常是非常大量的数据)的表示，从而产生术语“深度学习”或“深度网络”。深度学习，也称为“深度结构化学习”或“分层学习”，是机器学习方法的一部分，基于学习数据表示，而不是基于任务特定算法。“学习”可以是“监督的”、“半监督的”或“无监督的”。

“深度神经网络”、“深度信念网络”和“递归神经网络”等深度学习架构已应用于多个领域，包括但不限于计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学、药物设计、棋盘游戏程序等，它们产生的结果与人类专家相当，在某些情况下优于人类专家。

人工神经网络(本文称为“神经网络”)是一种信息处理范式，它的灵感来自生物神经系统(例如大脑)处理信息的方式。这一范式的关键因素是信息处理系统的新结构。该范式由大量高度互联的处理元件(神经元)组成，这些处理元件协同工作，以解决特定问题。神经网络像人类一样通过示例学习。神经网络可以通过学习过程针对特定应用(例如模式识别或数据分类)配置。生物系统中的学习涉及对神经元之间存在的突触连接的调整，神经网络也是如此。

与现有神经网络模型关联的问题是，这些神经网络模型占用磁盘上的大量空间，预训练模型的大小十分巨大；从而导致将此类模型放置在边缘设备或用户设备上的问题，所述设备例如但不限于手机、平板电脑、树莓派板、可穿戴设备等。通常，此类设备的存储空间和处理能力有限。目前，这些模型使用32位浮点数据结构存储。典型的预训练模型的大小的示例如下表1所示。可以一致推断，几乎所有大小都被神经网络连接的权重所占据，因为这些权重是不同的浮点数。出于同样的原因，简单的压缩技术(例如zip压缩)并不能充分压缩这些权重。

表1：列出一些预训练的神经网络模型所占的空间