[发明专利]卷积神经网络在量化过程前向推理降低精度损失的方法在审
| 申请号： | 202010020803.9 | 申请日： | 2020-01-09 |
| 公开（公告）号： | CN113095472A | 公开（公告）日： | 2021-07-09 |
| 发明（设计）人： | 周飞飞;于晓静 | 申请（专利权）人： | 北京君正集成电路股份有限公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08 |
| 代理公司： | 北京竹辰知识产权代理事务所(普通合伙) 11706 | 代理人： | 聂鹏 |
| 地址： | 100193 北京市海淀区西北旺*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 卷积 神经网络 量化 过程 推理 降低 精度 损失 方法 | ||
1.卷积神经网络在量化过程前向推理降低精度损失的方法，其特征在于，所述方法包括：
S1，在进行权重量化反量化过程中，提取batchnorm值，避免batchnorm值异常值对权重量化影响；
S2，卷积之后32bit反量化输出与batchnorm提取值相乘，从而避免精度损失。
2.根据权利要求1所述的卷积神经网络在量化过程前向推理降低精度损失的方法，其特征在于，所述的量化过程是直接对权重进行量化，不对权重合并任何batchnorm参数值。
3.根据权利要求1所述的卷积神经网络在量化过程前向推理降低精度损失的方法，其特征在于，所述方法进一步包括：
假设第i层的量化计算如下所示：
X0＝scale×D(Xi×Q(W))+b
其中Q(W)为权重量化操作，D(X)至整体进行反量化操作，scale、b分别为batchnorm提取之后对应的系数。
4.根据权利要求3所述的卷积神经网络在量化过程前向推理降低精度损失的方法，其特征在于，所述的scale值操作与反量化之后值进行相乘，同时和合并之后偏置相加。
5.根据权利要求1所述的卷积神经网络在量化过程前向推理降低精度损失的方法，其特征在于，所述提取batchnorm值，避免batchnorm值异常值对权重量化影响是通过对batchnorm通道值进行单独处理，避免权重合并batchnorm时出现通道异常值问题。
6.根据权利要求5所述的卷积神经网络在量化过程前向推理降低精度损失的方法，其特征在于，当权重未合并batchnorm之前，整体权重分布符合正态分布，最大值与最小值符合预期。
7.根据权利要求5所述的卷积神经网络在量化过程前向推理降低精度损失的方法，其特征在于，当权重合并batchnorm之后，整体权重最大值与最小值不符合预期，分布被破坏，产生量化损失。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京君正集成电路股份有限公司，未经北京君正集成电路股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202010020803.9/1.html，转载请声明来源钻瓜专利网。
