[发明专利]一种CNN推理加速系统、加速方法及介质有效
申请号: | 202011519581.1 | 申请日: | 2020-12-21 |
公开(公告)号: | CN112667289B | 公开(公告)日: | 2023-01-10 |
发明(设计)人: | 杨继林 | 申请(专利权)人: | 苏州浪潮智能科技有限公司 |
主分类号: | G06F9/30 | 分类号: | G06F9/30;G06N3/063;G06N5/04 |
代理公司: | 北京权智天下知识产权代理事务所(普通合伙) 11638 | 代理人: | 王新爱 |
地址: | 215124 江苏省苏州*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 cnn 推理 加速 系统 方法 介质 | ||
1.一种CNN推理加速系统,其特征在于,包括:指令操作模块、数据存储模块、IMC指令模块、向量指令模块和向量寄存器模块;
所述指令操作模块存储指令,并将指令进行译码解析,将解析后的所述指令发送至所述IMC指令模块和所述向量指令模块;
所述数据存储模块存储系统数据;
所述IMC指令模块接收所述指令操作模块发送的解析后的所述指令,并执行图像预处理、激活处理和池化处理;
所述向量指令模块接收所述指令操作模块发送的解析后的所述指令,并执行向量指令,将所述向量指令的执行结果写入所述向量寄存器模块中;
所述向量寄存器模块存储所述执行向量指令的结果。
2.根据权利要求1所述的一种CNN推理加速系统,其特征在于:所述指令操作模块包括指令存储模块、取指令模块、译码模块和指令派遣模块;
所述指令存储模块存储所述指令;所述取指令模块从所述指令存储模块中读取所述指令,并发送给所述译码模块;所述译码模块接收所述取指令模块发送的所述指令,并将所述指令解析;所述指令派遣模块将解析后的所述指令发送至所述IMC指令模块和所述向量指令模块;
所述取指令模块包括地址生成模块和接口协议转换模块;所述地址生成模块生成所述指令的访问地址;所述接口协议转换模块将地址生成模块中接口进行转换并通过转换后的所述接口连接所述指令存储模块。
3.根据权利要求2所述的一种CNN推理加速系统,其特征在于:所述向量指令模块包括向量指令执行模块和向量指令回写模块;
所述向量指令执行模块执行所述指令派遣模块发送的解析后的所述指令;所述向量指令回写模块将所述向量指令执行模块执行所述指令的结果写入所述向量寄存器模块中。
4.根据权利要求3所述的一种CNN推理加速系统,其特征在于:所述向量指令执行模块包括装载存储模块和向量乘累加模块;
所述装载存储模块执行向量装载指令和向量存储指令;
所述向量乘累加模块中设有乘累加器,用于执行向量乘累加指令。
5.用于权利要求4所述的一种CNN推理加速系统的加速方法,其特征在于,包括以下步骤:所述取指令模块读取所述指令存储模块中存储的指令,并通过所述取指令模块中所述地址生成模块生成所述指令的访问地址,以及将所述指令发送给所述译码模块;
所述译码模块接收指令后,将所述指令进行解析,解析出的信息包括指令的类型、指令的操作数和控制指令执行的信息,并将解析后的信息发送至所述指令派遣模块;
所述指令派遣模块接收解析后的所述信息后,读取所述向量指令模块中状态,根据所述状态控制取指令与分发指令,并将指令分发至所述IMC指令模块和所述向量指令模块;
所述IMC指令模块执行图像预处理、激活处理和池化处理;所述向量指令模块执行分发的所述指令,并将执行的结果写入所述向量寄存器模块中。
6.根据权利要求5所述的一种CNN推理加速系统的加速方法,其特征在于:所述通过所述取指令模块中所述地址生成模块生成所述指令的访问地址包括以下步骤:
判断是否为首次取指令,若是,则将取指令的地址设为起始地址;
若不是,则判断所述取指令模块取出的所述指令是否失效,若失效,则所述向量指令执行模块发送标志信号,所述标志信号中包含重新取指令的地址,根据重新取指令的地址,重新取指令;
若未失效,则判断取出的所述指令是否为分支跳转指令,若为所述分支跳转指令,则计算所述分支跳转指令中的参数;
若不为所述分支跳转指令,则判断所述指令的位宽是否小于所述指令存储模块的位宽,若小于所述指令存储模块的所述位宽,则根据所述位宽判断取出的所述指令的数量,并根据所述指令的数量判断是否包含下一条取出的指令,若不小于所述指令存储模块的位宽,则计算下一条取出的指令的地址。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011519581.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种清理口香糖的环保装置
- 下一篇:一种基于网格与包围盒的碰撞检测方法