[发明专利]人工神经网络的量化方法及装置

权利要求书

1.一种人工神经网络的量化方法，其特征在于，包括：

从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集；

采用所述量化图集来对该人工神经网络进行量化；

其中，所述从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集包括：

根据图像集中的部分图像，来计算理想分布p；

根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集，包括：

对图像集中未被抽取的部分或全部图像分别进行深度特征提取；

分别对各张图像中被提取的深度特征进行统计，分别得到关于各张图像的特征分布；

分别计算关于各张图像的特征分布与理想分布p之间的KL散度；

从图像集中筛选出图像所对应的KL散度符合预定要求的图像，作为用于对该人工神经网络进行量化的量化图集；

其中，所述根据图像集中的部分图像，来计算理想分布p包括：

从图像集中抽取N张图像作为初始量化图像；

根据N张所述初始量化图像，分别对该人工神经网络进行量化，产生N个量化方案；

根据N个所述量化方案，分别计算各个量化方案中该人工神经网络输出层的余弦相似度，得到N个余弦相似度；

根据各个量化方案中该人工神经网络输出层的余弦相似度，从N张图像中筛选出图像所对应的余弦相似度符合预定要求的图像；

对图像所对应的余弦相似度符合预定要求的各张图像分别进行深度特征提取；

对提取的深度特征进行统计，生成理想分布p。

2.如权利要求1所述的人工神经网络的量化方法，其特征在于，所述从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集还包括：对初始量化图像的数量N、相似度指标c以及散度指标d进行初始化；

其中，相似度指标c是图像所对应的余弦相似度的指定值，散度指标d是图像所对应的KL散度的指定值。

3.如权利要求1所述的人工神经网络的量化方法，其特征在于，所述从图像集中抽取N张图像作为初始量化图像包括：随机从图像集中不放回地抽取N张图像作为初始量化图像。

4.如权利要求1所述的人工神经网络的量化方法，其特征在于，在所述根据N张所述初始量化图像，分别对该人工神经网络进行量化，产生N个量化方案的过程中，由各张图像量化产生的定点数据各不相同。

5.如权利要求1所述的人工神经网络的量化方法，其特征在于，所述根据N个所述量化方案，分别计算各个量化方案中该人工神经网络输出层的余弦相似度，得到N个余弦相似度包括：通过以下公式来计算各个量化方案中该人工神经网络输出层的余弦相似度：

其中，表示该人工神经网络输出层输出的定点数据，表示该人工神经网络输出层输出的浮点数据，表示向量与向量的夹角。

6.如权利要求1所述的人工神经网络的量化方法，其特征在于，所述从N张图像中筛选出图像所对应的余弦相似度符合预定要求的图像包括：从N张图像中筛选出图像所对应的余弦相似度大于相似度指标c的图像。

7.如权利要求1所述的人工神经网络的量化方法，其特征在于，所述分别计算关于各张图像的特征分布与理想分布p之间的KL散度包括：通过以下公式来计算关于各张图像的特征分布与理想分布p之间的KL散度：

其中，表示理想分布，表示图像的分布，表示相对于理想分布的散度。

8.如权利要求1所述的人工神经网络的量化方法，其特征在于，所述从图像集中筛选出图像所对应的KL散度符合预定要求的图像包括：从图像集中筛选出图像所对应的KL散度小于或等于散度指标d的图像。

9.一种人工神经网络的量化装置，其特征在于，包括：

处理器，适于加载并执行软件程序的指令；

存储器，适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：

从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集；

采用所述量化图集来对该人工神经网络进行量化；

其中，所述从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集包括：

根据图像集中的部分图像，来计算理想分布p；

根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集，包括：

对图像集中未被抽取的部分或全部图像分别进行深度特征提取；

分别对各张图像中被提取的深度特征进行统计，分别得到关于各张图像的特征分布；

分别计算关于各张图像的特征分布与理想分布p之间的KL散度；

从图像集中筛选出图像所对应的KL散度符合预定要求的图像，作为用于对该人工神经网络进行量化的量化图集；

其中，所述根据图像集中的部分图像，来计算理想分布p包括：

从图像集中抽取N张图像作为初始量化图像；

根据N张所述初始量化图像，分别对该人工神经网络进行量化，产生N个量化方案；

根据N个所述量化方案，分别计算各个量化方案中该人工神经网络输出层的余弦相似度，得到N个余弦相似度；

根据各个量化方案中该人工神经网络输出层的余弦相似度，从N张图像中筛选出图像所对应的余弦相似度符合预定要求的图像；

对图像所对应的余弦相似度符合预定要求的各张图像分别进行深度特征提取；

对提取的深度特征进行统计，生成理想分布p。