[发明专利]神经网络的量化方法及装置

权利要求书

1.一种神经网络的量化方法，其特征在于，包括：

加载网络模型，从所述网络模型中按照卷积层逐层提取权重W_i，其中，i为自然数；

将验证集投入到所述网络模型的每一层卷积层分别提取特征值，获取特征值的数据范围；

对每一层卷积层的权重W_i进行量化，得到量化后的权重W_final,i，具体包括：

W'＝W_i×2^j-1； (1)

其中j∈[2,8]，表示位宽；[-2^j-1+1,2^j-1-1]为通过位宽j表示的所述特征值的数据范围，对于不在所述数据范围之内的特征值，对式(1)进行clip饱和操作，即将大于值域|[-2^j-1+1,2^j-1-1]|的数据饱和到[-2^j-1+1,2^j-1-1]内重新计算卷积层i的权重W_final,i；

将所述验证集投入到权重为所述W_final,i的卷积层进行验证获取验证准确率；

获取不同的位宽j对应的权重W_final,i及验证准确率，确定最大的验证准确率对应的位宽j及卷积层的权重W_final,i，直至确定每一层卷积层的权重，完成神经网络的量化，保存量化后的网络模型。

2.如权利要求1所述的神经网络的量化方法，其特征在于，所述网络模型包括VGG16、YOLOv3和ResNet50。

3.一种神经网络的量化装置，其特征在于，包括：

权重提取单元，用于加载网络模型，从所述网络模型中按照卷积层逐层提取权重W_i，其中，i为自然数；

特征值提取单元，用于将验证集投入到所述网络模型的每一层卷积层分别提取特征值，获取特征值的数据范围；

量化单元，用于对每一层卷积层的权重W_i进行量化，具体包括：

W'＝W_i×2^j-1； (1)

其中j∈[2,8]，表示位宽；[-2^j-1+1,2^j-1-1]为通过位宽j表示的所述特征值的数据范围，对于不在所述数据范围之内的特征值，对式(1)进行clip饱和操作，即将大于值域|[-2^j-1+1,2^j-1-1]|的数据饱和到[-2^j-1+1,2^j-1-1]内重新计算卷积层i的权重W_final,i；

验证单元，将所述验证集投入到权重为W_final,i的卷积层进行验证获取验证准确率；

确定单元，获取不同的位宽j对应的权重W_final,i及验证准确率，确定最大的验证准确率对应的位宽j及卷积层的权重W_final,i，直至确定每一层卷积层的权重，完成神经网络的量化，保存量化后的网络模型。

4.如权利要求3所述的神经网络的量化装置，其特征在于，所述网络模型包括VGG16、YOLOv3和ResNet50。