[发明专利]一种神经网络的量化参数确定方法及相关产品在审
| 申请号： | 201910959360.7 | 申请日： | 2019-09-19 |
| 公开（公告）号： | CN112085189A | 公开（公告）日： | 2020-12-15 |
| 发明（设计）人： | 不公告发明人 | 申请（专利权）人： | 上海寒武纪信息科技有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/04 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 201306 上海*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 神经网络 量化 参数 确定 方法 相关 产品 | ||
1.一种神经网络的量化参数确定方法，其特征在于，所述方法包括：
获取每种待量化数据的统计结果；其中，所述待量化数据包括所述神经网络的神经元、权值、梯度、偏置中的至少一种数据；
利用每种待量化数据的统计结果以及数据位宽确定对应量化参数；其中，所述量化参数用于人工智能处理器对神经网络运算过程中的数据进行对应量化；所述量化参数包括点位置参数和第二缩放系数。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
利用对应量化参数对所述待量化数据进行量化。
3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：
利用对应量化参数对目标数据进行量化；其中，所述目标数据的特征与所述待量化数据的特征之间具有相似性。
4.如权利要求1所述的方法，其特征在于，所述神经网络运算过程包括神经网络训练、神经网络推理、神经网络微调中的至少一种运算。
5.如权利要求1所述的方法，其特征在于，所述统计结果为每种待量化数据中的最大值和最小值。
6.如权利要求1所述的方法，其特征在于，所述统计结果为每种待量化数据中的绝对值最大值。
7.如权利要求6所述的方法，其特征在于，所述绝对值最大值根据每种待量化数据中的最大值和最小值确定。
8.如权利要求5所述的方法，其特征在于，所述量化参数根据每种待量化数据中的最大值、最小值以及所述数据位宽确定。
9.如权利要求6或7所述的方法，其特征在于，所述量化参数根据每种待量化数据中的绝对值最大值、所述数据位宽确定。
10.如权利要求1所述的方法，其特征在于，所述第二缩放系数根据所述点位置参数、所述统计结果、所述数据位宽确定。
11.如权利要求1所述的方法，其特征在于，所述数据位宽是预设值。
12.如权利要求1所述的方法，其特征在于，所述数据位宽根据对应的量化误差进行调整；其中，所述量化误差是根据量化后的数据与对应的量化前的数据确定。
13.如权利要求12所述的方法，其特征在于，所述数据位宽的调整步骤包括：
所述量化误差与阈值进行比较，根据比较结果，调整所述数据位宽；其中，所述阈值包括第一阈值和第二阈值中的至少一个。
14.如权利要求13所述的方法，其特征在于，调整所述数据位宽的步骤包括：
所述量化误差大于等于所述第一阈值，则对所述数据位宽进行增加。
15.如权利要求13所述的方法，其特征在于，调整所述数据位宽的步骤包括：
所述量化误差小于等于所述第二阈值，则对所述数据位宽进行减少。
16.如权利要求13所述的方法，其特征在于，调整所述数据位宽的步骤包括：
所述量化误差处于所述第一阈值和所述第二阈值之间，则所述数据位宽保持不变。
17.如权利要求12所述的方法，其特征在于，所述量化误差的获取方法包括：
根据所述数据位宽确定量化间隔；
根据所述量化间隔、所述量化后的数据的个数与对应的量化前的数据确定量化误差。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海寒武纪信息科技有限公司，未经上海寒武纪信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910959360.7/1.html，转载请声明来源钻瓜专利网。
- 上一篇：电源交换电路
- 下一篇：一种神经网络的量化参数确定方法及相关产品
