[发明专利]一种基于神经网络的部分和量化处理方法及装置

权利要求书

1.一种基于神经网络的部分和量化处理方法，其特征在于，包括：

对每个卷积核的输入数据和权重分别进行分区处理，获得每个卷积核的各个分区数据；

对每个卷积核的各个分区数据进行阵列量化，获得每个卷积核的各个分区量化数据；

对每个卷积核的各个分区量化数据进行乘法累加运算，获得每个卷积核的各个分区的部分和；

对每个卷积核的各个分区的部分和进行模数转换，获得每个卷积核的各个分区的整数输出数据；

对每个卷积核的各个分区的整数输出数据进行反量化操作，获得每个卷积核的浮点输出数据。

2.根据权利要求1所述的方法，其特征在于，所述对每个卷积核的各个分区数据进行阵列量化，获得每个卷积核的各个分区量化数据包括：

根据公式获得所述分区量化数据中的量化权重

根据公式获得所述分区量化数据中的量化输入数据

其中，W_f表示卷积核的第f个分区量化数据中的权重，A_f表示卷积核的第f个分区量化数据中的输入数据，表示第f个分区量化数据中权重的比例因子，表示第f个分区量化数据中输入数据的比例因子，b表示将数据量化到b比特，clip函数表示将目标数据截断到[Q_n,Q_p]范围内，表示四舍五入操作，对于无符号数，[Q_n,Q_p]＝[0,2^b-1]，对于有符号数，[Q_n,Q_p]＝[-2^b-1,2^b-1-1]，f为正整数。

3.根据权利要求1所述的方法，其特征在于，在对每个卷积核的各个分区的部分和进行模数转换之前，还包括：

通过可学习比例因子对每个卷积核的各个分区的部分和进行量化。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述模数转换的精度低于预设精度。

5.一种基于神经网络的部分和量化处理装置，其特征在于，包括：

获得单元，用于对每个卷积核的输入数据和权重分别进行分区处理，获得每个卷积核的各个分区数据；

阵列量化单元，用于对每个卷积核的各个分区数据进行阵列量化，获得每个卷积核的各个分区量化数据；

乘法累加单元，用于对每个卷积核的各个分区量化数据进行乘法累加运算，获得每个卷积核的各个分区的部分和；

模数转换单元，用于对每个卷积核的各个分区的部分和进行模数转换，获得每个卷积核的各个分区的整数输出数据；

反量化单元，用于对每个卷积核的各个分区的整数输出数据进行反量化操作，获得每个卷积核的浮点输出数据。

6.根据权利要求5所述的装置，其特征在于，所述阵列量化单元具体用于：

根据公式获得所述分区量化数据中的量化权重

根据公式获得所述分区量化数据中的量化输入数据

其中，W_f表示卷积核的第f个分区量化数据中的权重，A_f表示卷积核的第f个分区量化数据中的输入数据，表示第f个分区量化数据中权重的比例因子，表示第f个分区量化数据中输入数据的比例因子，b表示将数据量化到b比特，clip函数表示将目标数据截断到[Q_n,Q_p]范围内，表示四舍五入操作，对于无符号数，[Q_n,Q_p]＝[0,2^b-1]，对于有符号数，[Q_n,Q_p]＝[-2^b-1,2^b-1-1]，V表示添加在权重上的连续变量，f为正整数。

7.根据权利要求5所述的装置，其特征在于，还包括：

部分和量化单元，用于通过可学习比例因子对每个卷积核的各个分区的部分和进行量化。

8.根据权利要求5至7任一项所述的装置，其特征在于，所述模数转换的精度低于预设精度。