[发明专利]用于神经网络推理的芯片及加速神经网络推理的方法在审
| 申请号： | 202110336218.4 | 申请日： | 2021-03-29 |
| 公开（公告）号： | CN113138957A | 公开（公告）日： | 2021-07-20 |
| 发明（设计）人： | 聂玉虎;林龙;崔文朋;史存存;刘瑞;王岳;郑哲;万能;汪晓;章海斌 | 申请（专利权）人： | 北京智芯微电子科技有限公司;国网信息通信产业集团有限公司;国家电网有限公司;全球能源互联网研究院有限公司;国网安徽省电力有限公司检修分公司 |
| 主分类号： | G06F15/78 | 分类号： | G06F15/78;G06N3/04;G06N3/08 |
| 代理公司： | 北京润平知识产权代理有限公司 11283 | 代理人： | 肖冰滨;王晓晓 |
| 地址： | 100192 北京市海淀区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 用于 神经网络 推理 芯片 加速 方法 | ||
1.一种用于神经网络推理的芯片，包括存算单元，其特征在于，所述存算单元包括多个不同输入长度的存储计算阵列，多个所述存储计算阵列用于部署与其输入长度相对应的卷积核。
2.根据权利要求1所述的用于神经网络推理的芯片，其特征在于，所述存储计算阵列上部署的卷积核是经过剪枝和聚类的。
3.根据权利要求1所述的用于神经网络推理的芯片，其特征在于，所述存算单元包括四个存储计算阵列，四个存储计算阵列的输入长度分别为1位、3位、6位、9位。
4.根据权利要求3所述的用于神经网络推理的芯片，其特征在于，所述1位的存储计算阵列用于部署1位参数的卷积核；
所述3位的存储计算阵列用于部署2位或3位参数的卷积核；
所述6位的存储计算阵列用于部署4位至6位参数的卷积核；
所述9位的存储计算阵列用于部署7位至9位参数的卷积核。
5.根据权利要求1所述的用于神经网络推理的芯片，其特征在于，每个所述存储计算阵列对应一个卷积核，多个所述存储计算阵列并行运算。
6.一种加速神经网络推理的方法，基于权利要求1所述的用于神经网络推理的芯片，其特征在于，所述方法包括：
对卷积神经网络的各层卷积核参数进行剪枝和聚类；
将聚类后的卷积核分配到所述用于神经网络推理的芯片的与所述卷积核的参数位相对应的存储计算阵列。
7.根据权利要求6所述的加速神经网络推理的方法，其特征在于，所述对卷积神经网络的各层卷积核参数进行剪枝和聚类，包括：
对卷积神经网络的各层卷积核参数进行剪枝；
对剪枝后的各层卷积核参数进行量化；
对量化后的各层卷积核参数进行聚类。
8.根据权利要求7所述的加速神经网络推理的方法，其特征在于，所述对卷积神经网络的各层卷积核参数进行剪枝，包括：
获取所述卷积神经网络的各层卷积核的参数值，将各层卷积核的小于预设阈值的参数剪掉。
9.根据权利要求6所述的加速神经网络推理的方法，其特征在于，所述将聚类后的卷积核分配到所述用于神经网络推理的芯片的与所述卷积核的参数位相对应的存储计算阵列，包括：
将1位参数的卷积核分配到1位的存储计算阵列；
将2位或3位参数的卷积核分配到3位的存储计算阵列；
将4位至6位参数的卷积核分配到6位的存储计算阵列；
将7位至9位参数的卷积核分配到9位的存储计算阵列。
10.一种存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被执行时实现权利要求6-9中任一项所述的加速神经网络推理的方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京智芯微电子科技有限公司;国网信息通信产业集团有限公司;国家电网有限公司;全球能源互联网研究院有限公司;国网安徽省电力有限公司检修分公司，未经北京智芯微电子科技有限公司;国网信息通信产业集团有限公司;国家电网有限公司;全球能源互联网研究院有限公司;国网安徽省电力有限公司检修分公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202110336218.4/1.html，转载请声明来源钻瓜专利网。
