[发明专利]神经网络加速器在审

专利信息
申请号: 201980014141.X 申请日: 2019-02-15
公开(公告)号: CN111742331A 公开(公告)日: 2020-10-02
发明(设计)人: A·莫霍沃斯;A·德尔马斯拉斯科兹;Z·普洛斯;D·马龙斯图尔特;P·贾德;S·沙丽;M·马哈茂德;M·尼科利奇;K·C·M·小 申请(专利权)人: 多伦多大学管理委员会
主分类号: G06N3/04 分类号: G06N3/04;G06N3/063
代理公司: 北京市铸成律师事务所 11313 代理人: 王丹丹;王珺
地址: 加拿大*** 国省代码: 暂无信息
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 神经网络 加速器
【说明书】:

描述了一种用于利用输入稀疏性的神经网络加速器瓦片。所述瓦片包括:权重存储器,所述权重存储器用于向每个权重通道供应权重和权重选择元数据;激活选择单元,所述激活选择单元用于接收输入激活值集合并重排所述输入激活值集合以向每个激活通道供应重排的激活值集合;多路复用器集合,所述多路复用器集合包括每对激活通道和权重通道至少一个多路复用器,其中每个多路复用器被配置为基于所述权重通道权重选择元数据针对所述激活通道从重排的激活值的激活通道集合中选择组合激活值;以及组合单元集合,所述组合单元集合包括每个多路复用器至少一个组合单元,其中每个组合单元被配置为将所述激活通道组合值与所述权重通道权重组合以输出权重通道乘积。

技术领域

本说明书总体上涉及用于神经网络的硬件架构,并且更具体地涉及神经网络硬件加速器。

背景技术

深度学习神经网络(DNN)已发现越来越多数量的应用在从高端服务器到移动和嵌入式系统的各种计算平台上执行。鉴于DNN工作负载的重要性与日俱增以及其高计算和存储器需求,已经出现了专用的硬件加速器。

存在几种类型的DNN,诸如卷积神经网络(CNN),所述CNN支配着基于图像的应用。例如,CNN可被用于推断图像或视频帧,并且经常期望使用CNN特别是倾向于支配CNN中的执行时间的卷积层来加速推断。

神经网络加速领域的最近发展包括推动硬件实现。例如,已经开发了电路,所述电路被设计为更接近地模仿神经元的行为,诸如具有高网络连接性或其他特征。

发明内容

根据本发明的实施方案,提供了一种用于利用输入稀疏性的神经网络加速器瓦片(tile),所述瓦片限定了权重通道(lane)集合和激活通道集合,每个权重通道对应于激活通道,所述瓦片包括:权重存储器,所述权重存储器用于向所述权重通道集合中的每个权重通道供应权重和权重选择元数据;激活选择单元,所述激活选择单元用于接收输入激活值集合并重排所述输入激活值集合以向每个激活通道供应重排的激活值集合;多路复用器集合,所述多路复用器集合包括每对激活通道和权重通道至少一个多路复用器,每个多路复用器被配置为基于所述权重通道权重选择元数据针对所述激活通道从重排激活值的激活通道集合中选择组合激活值;以及组合单元集合,所述组合单元集合包括每个多路复用器至少一个组合单元,每个组合单元被配置为将所述激活通道组合值与所述权重通道权重组合以输出权重通道乘积。

根据本发明的另一个实施方案,提供了一种加速器瓦片,所述加速器瓦片包括:激活选择单元,所述激活选择单元用于接收激活值集合并将所述激活值集合重排成至少一个多路复用器输入值集合;权重值接收器集合,所述权重值接收器集合用于接收至少一个权重和至少一个权重选择元数据;至少一个多路复用器,所述至少一个多路复用器用于接收所述至少一个多路复用器输入值集合中的至少一个和至少一个权重选择元数据,所述至少一个多路复用器被配置为应用所述至少一个权重选择元数据来从所述至少一个多路复用器输入值集合选择至少一个组合激活值;至少一个组合器,所述至少一个组合器用于将所述至少一个组合激活值施加至所述至少一个权重以产生至少一个乘积;以及至少一个乘积输出分配器,所述至少一个乘积输出分配器用于输出所述至少一个乘积。

在结合附图阅读以下对本发明的实施方案的描述时,根据本申请的其他方面和特征将变得对于本领域的普通技术人员来说明显。

附图说明

参考附图可以更好地理解本发明的原理,所述附图是通过结合本发明的原理和各方面对一个或多个示例性实施方案进行说明提供的,并且在附图中:

图1是示例性卷积层的示意图;

图2是示例性伪代码卷积层计算;

图3是密集神经网络加速器瓦片的示意图;

图4A至图4B是CNN功能的示例性示意图;

图5A至图5C是根据实施方案的先行(lookahead)功能的示意图;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于多伦多大学管理委员会,未经多伦多大学管理委员会许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201980014141.X/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top