[发明专利]一种基于神经网络的部分和量化处理方法及装置

说明书

本发明提供一种基于神经网络的部分和量化处理方法及装置，所述方法包括：对每个卷积核的输入数据和权重分别进行分区处理，获得每个卷积核的各个分区数据；对每个卷积核的各个分区数据进行阵列量化，获得每个卷积核的各个分区量化数据；对每个卷积核的各个分区量化数据进行乘法累加运算，获得每个卷积核的各个分区的部分和；对每个卷积核的各个分区的部分和进行模数转换，获得每个卷积核的各个分区的整数输出数据；对每个卷积核的各个分区的整数输出数据进行反量化操作，获得每个卷积核的浮点输出数据。所述装置用于执行上述方法。本发明实施例提供的基于神经网络的部分和量化处理方法及装置，提高了计算效率。

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于神经网络的部分和量化处理方法及装置。

背景技术

卷积神经网络通常需要大量的参数和复杂的计算来实现高性能，导致对内存带宽和硬件资源的需求不断增加。

目前，基于冯诺依曼架构的传统加速器存在内存墙的困扰，阻碍了能效的进一步提升。存算一体计算技术(Computing-In-Memory，简称CIM)通过将计算转移到内存中来解决这一问题，从而避免大量数据移动并降低功耗。量化可以有效将浮点数据转换为低比特数据，显著减少延迟和能耗，量化神经网络在基于CIM的加速器中被广泛采用。然而，CIM的存储器阵列通常容量有限，因此，单个卷积操作中的矩阵向量乘法(Matrix VectorMultiplication，简称MVM)需要拆分为多个小分区，其中涉及部分和。由于模数转换器(Analog-to-Digital Converter，简称ADC)的精度有限，需要对部分和进行额外的量化步骤，大多采用使用高精度ADC进行部分和，带来了额外的硬件开销。

发明内容

针对现有技术中的问题，本发明实施例提供一种基于神经网络的部分和量化处理方法及装置，能够至少部分地解决现有技术中存在的问题。

第一方面，本发明提出一种基于神经网络的部分和量化处理方法，包括：

对每个卷积核的输入数据和权重分别进行分区处理，获得每个卷积核的各个分区数据；

对每个卷积核的各个分区数据进行阵列量化，获得每个卷积核的各个分区量化数据；

对每个卷积核的各个分区量化数据进行乘法累加运算，获得每个卷积核的各个分区的部分和；

对每个卷积核的各个分区的部分和进行模数转换，获得每个卷积核的各个分区的整数输出数据；

对每个卷积核的各个分区的整数输出数据进行反量化操作，获得每个卷积核的浮点输出数据。

进一步地，所述对每个卷积核的各个分区数据进行阵列量化，获得每个卷积核的各个分区量化数据包括：

根据公式获得所述分区量化数据中的量化权重

根据公式获得所述分区量化数据中的量化输入数据

其中，W_f表示卷积核的第f个分区量化数据中的权重，A_f表示卷积核的第f个分区量化数据中的输入数据，表示第f个分区量化数据中权重的比例因子，表示第f个分区量化数据中输入数据的比例因子，b表示将数据量化到b比特，clip函数表示将目标数据截断到[Q_n,Q_p]范围内，表示四舍五入操作，对于无符号数，[Q_n,Q_p]＝[0,2^b-1]，对于有符号数，[Q_n,Q_p]＝[-2^b-1,2^b-1-1]，f为正整数。

进一步地，在对每个卷积核的各个分区的部分和进行模数转换之前，还包括：

通过可学习比例因子对每个卷积核的各个分区的部分和进行量化。