[发明专利]一种超导二值神经网络加速方法及加速器在审
申请号: | 202210513312.7 | 申请日: | 2022-05-11 |
公开(公告)号: | CN114841102A | 公开(公告)日: | 2022-08-02 |
发明(设计)人: | 黄俊英;付荣亮;张志敏 | 申请(专利权)人: | 中国科学院计算技术研究所 |
主分类号: | G06F30/331 | 分类号: | G06F30/331;G06N3/04;G06N3/06 |
代理公司: | 北京律诚同业知识产权代理有限公司 11006 | 代理人: | 祁建国;陈思远 |
地址: | 100080 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 超导 神经网络 加速 方法 加速器 | ||
1.一种超导二值神经网络加速方法,其特征在于,包括:
步骤1、获取待运行的神经网络第一层所有的实值权重和实值激活,分别作为当前权重和当前激活,并二值化该当前权重和当前激活,得到二值权重和二值激活;
步骤2、将所有该二值权重及其对应的该二值激活构成的数据对,输入至神经处理单元中的多个同或门,以对各个数据对完成乘法运算;
步骤3、通过纯组合累加并行单元对所有乘法运算结果进行累加,并将累加结果和预设阈值输入至比较器,并将比较结果作为下一层的二值激活;
步骤4、获取该下一层的实值权重,作为当前权重,二值化该当前权重,并将步骤3得到的二值激活作为当前激活,执行该步骤3,直到得到该超导二值神经网络最后一层的比较结果,作为该超导二值神经网络的运行结果。
2.如权利要求1所述的超导二值神经网络加速方法,其特征在于,通过下式完成该二值化过程:
其中xb是实值的权重或激活变量x对应的二值化的值。
3.如权利要求1所述的超导二值神经网络加速方法,其特征在于,该纯组合累加并行单元包括超导近似单元和超导并行计数器;
其中该超导近似单元由一列超导OR-AND门对构成,以减少输入的数据位宽;该超导并行计数器由级联的超导全加器组成,且该超导全加器包括T1触发器、CB3单元、D触发器和分离单元。
4.如权利要求3所述的超导二值神经网络加速方法,其特征在于,该超导全加器的输入为待求和值A、待求和值B、进位C和时钟CLK,输出为求和结果Sum和进位Carry;CLK通过该分离单元连接到该T1触发器的rd端口和该D触发器的时钟端口;A、B、C通过该CB3单元进行逻辑或操作,输出结果连接到该T1触发器的数据输入端,该T1触发器的输出连接到该D触发器的数据输入端,最后从该D触发器的输出端得到全加器的进位Carry,从该T1触发器的sum端得到全加器的求和结果Sum。
5.一种超导二值神经网络加速器,其特征在于,包括:
初始模块,用于获取待运行的神经网络第一层所有的实值权重和实值激活,分别作为当前权重和当前激活,并二值化该当前权重和当前激活,得到二值权重和二值激活;
同或模块,用于将所有该二值权重及其对应的该二值激活构成的数据对,输入至神经处理单元中的多个同或门,以对各个数据对完成乘法运算;
累加模块,用于通过纯组合累加并行单元对所有乘法运算结果进行累加,并将累加结果和预设阈值输入至比较器,并将比较结果作为下一层的二值激活;
循环模块,用于获取该下一层的实值权重,作为当前权重,二值化该当前权重,并将步骤3得到的二值激活作为当前激活,再次调用该累加模块,直到得到该超导二值神经网络最后一层的比较结果,作为该超导二值神经网络的运行结果。
6.如权利要求5所述的超导二值神经网络加速器,其特征在于,通过下式完成该二值化过程:
其中xb是实值的权重或激活变量x对应的二值化的值。
7.如权利要求5所述的超导二值神经网络加速器,其特征在于,该纯组合累加并行单元包括超导近似单元和超导并行计数器;
其中该超导近似单元由一列超导OR-AND门对构成,以减少输入的数据位宽;该超导并行计数器由级联的超导全加器组成,且该超导全加器包括T1触发器、CB3单元、D触发器和分离单元。
8.如权利要求7所述的超导二值神经网络加速器,其特征在于,该超导全加器的输入为待求和值A、待求和值B、进位C和时钟CLK,输出为求和结果Sum和进位Carry;CLK通过该分离单元连接到该T1触发器的rd端口和该D触发器的时钟端口;A、B、C通过该CB3单元进行逻辑或操作,输出结果连接到该T1触发器的数据输入端,该T1触发器的输出连接到该D触发器的数据输入端,最后从该D触发器的输出端得到全加器的进位Carry,从该T1触发器的sum端得到全加器的求和结果Sum。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210513312.7/1.html,转载请声明来源钻瓜专利网。