[发明专利]训练神经网络的方法及装置、电子设备

权利要求书

1.一种训练神经网络的方法，包括：

量化卷积神经网络中卷积层的第一组浮点型参数，以获得所述卷积层的第一组定点型参数，所述第一组浮点型参数是通过样本数据对所述卷积神经网络进行训练得到的浮点型数据；

基于与所述卷积层相对应的归一化层的第二组浮点型参数和所述第一组定点型参数，确定所述卷积层的第三组浮点型参数，所述第三组浮点型参数为浮点型数据；以及

量化所述第三组浮点型参数为第二组定点型参数，以得到定点化的卷积神经网络，其中，

所述归一化层的第二组浮点型参数包括尺度因子和平移因子；所述卷积层的第一组定点型参数包括第一定点型权重和第一定点型偏置量，所述卷积层的第三组浮点型参数包括第三浮点型权重和第三浮点型偏置量；

基于与所述卷积层相对应的归一化层的第二组浮点型参数和所述第一组定点型参数，确定所述卷积层的第三组浮点型参数，包括：根据所述尺度因子和所述第一定点型权重，计算所述第三浮点型权重；以及，根据所述尺度因子、平移因子以及所述第一定点型偏置量，计算所述第三浮点型偏置量。

2.根据权利要求1所述的方法，其中，所述第二组定点型参数的位宽由执行所述卷积神经网络运算的硬件支持的数据位宽确定。

3.根据权利要求1所述的方法，其中，量化卷积神经网络中卷积层的第一组浮点型参数，包括：

转换所述卷积层的第一组浮点型参数为定点型数据；以及，

利用所述转换得到的定点型数据和与所述卷积层相对应的归一化层的第二组浮点型参数训练所述卷积神经网络，以得到所述卷积层的第一组定点型参数。

4.根据权利要求1所述的方法，其中，

所述归一化层的第二组浮点型参数包括尺度因子和平移因子；所述卷积层的第一组定点型参数包括第一定点型权重和第一定点型偏置量，所述卷积层的第三组浮点型参数包括第三浮点型权重和第三浮点型偏置量；

基于与所述卷积层相对应的归一化层的第二组浮点型参数和所述第一组定点型参数，确定所述卷积层的第三组浮点型参数，包括：根据所述尺度因子和所述第一定点型权重，计算所述第三浮点型权重；以及，根据所述尺度因子、平移因子以及所述第一定点型偏置量，计算所述第三浮点型偏置量。

5.根据权利要求4所述的方法，其中，

所述归一化层的第二组浮点型参数还包括方差和归一化常数；

根据所述尺度因子和所述第一定点型权重，计算所述第三浮点型权重，包括：

由对应每个通道维度的尺度因子除以归一化常数和相应通道维度的所述方差之和，得到对应每个通道维度的第一商值；以及

计算对应每个通道维度的第一商值与所述第一定点型权重中对应所述通道维度的核中的数据的乘积，得到所述第三浮点型权重中每个核中的数据；

其中，所述通道维度是指输出特征数据的通道维度。

6.根据权利要求4所述的方法，其中，所述归一化层的第二组浮点型参数还包括方差和归一化常数；

根据所述尺度因子、平移因子以及所述第一定点型偏置量，计算所述第三浮点型偏置量，包括：

由对应每个通道维度的尺度因子除以归一化常数和相应通道维度的所述方差之和，得到对应每个通道维度的第一商值；

计算对应每个通道维度的第一商值与对应所述通道维度的第一定点型偏移量的乘积，得到对应每个通道维度的第一乘积值；以及

计算对应每个通道维度的第一乘积值与对应所述通道维度的平移因子之和，得到对应每个通道维度的第三浮点型偏置量；

其中，所述通道维度是指输出特征数据的通道维度。

7.根据权利要求1所述的方法，其中，量化所述第三组浮点型参数为第二组定点型参数，包括：

转换所述第三组浮点型参数为定点型数据；以及

利用所述转换得到的定点型数据训练卷积神经网络，以得到所述卷积层的第二组定点型参数。