[发明专利]神经网络权重编码方法、计算装置及硬件系统有效
申请号: | 201780042640.0 | 申请日: | 2017-12-29 |
公开(公告)号: | CN109791626B | 公开(公告)日: | 2022-12-27 |
发明(设计)人: | 张悠慧;季宇;张优扬 | 申请(专利权)人: | 清华大学 |
主分类号: | G06N3/063 | 分类号: | G06N3/063 |
代理公司: | 北京睿邦知识产权代理事务所(普通合伙) 11481 | 代理人: | 徐丁峰 |
地址: | 100084*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 权重 编码 方法 计算 装置 硬件 系统 | ||
1.一种用于神经网络的非拼接权重训练方法,包括:
权重定点化步骤,将权重矩阵的每个矩阵元素转换为具有预定比特位数的第一数;
误差引入步骤,在所述第一数中引入具有预定标准差的噪声,获得第二数;和
训练步骤,对以第二数表示的权重矩阵进行训练,训练至收敛后,得到训练结果,
其中,所述训练结果将作为最终的权重矩阵,其各个矩阵元素被逐个写入对应表示一个矩阵元素的单个模拟电路器件中,其中通过单个模拟电路器件而非多个模拟电路器件的拼接来表示单个矩阵元素。
2.根据权利要求1所述的非拼接权重训练方法,其中,在权重定点化步骤中,通过线性关系或对数关系进行第一数的转换。
3.根据权利要求1所述的非拼接权重训练方法,其中,所述噪声为模拟电路的读写误差,并且服从正态分布规律。
4.根据权利要求1所述的非拼接权重训练方法,其中,所述模拟电路器件为忆阻器、电容比较器或者电压比较器。
5.根据权利要求1所述的非拼接权重训练方法,其中,所述第一数为定点数并且第二数为浮点数。
6.一种用于神经网络的非拼接权重编码方法,包括如下步骤:将权重矩阵的每个矩阵元素逐个写入对应表示一个矩阵元素的单个模拟电路器件中,以便通过单个模拟电路器件而非多个模拟电路器件的拼接来表示单个矩阵元素,
其中,所述权重矩阵是通过权利要求1到5中任一项所述的非拼接权重训练方法得到的。
7.根据权利要求6所述的非拼接权重编码方法,其中,在写入步骤之前,还包括如下步骤:
权重定点化步骤,将权重矩阵的每个矩阵元素转换为具有预定比特位数的第一数;
误差引入步骤,在所述第一数中引入具有预定标准差的噪声,获得第二数;和
训练步骤,对以第二数表示的权重矩阵进行训练,训练至收敛后,得到训练结果。
8.一种神经网络芯片,具有通过模拟电路器件以硬件形式执行矩阵向量乘的操作的基本模块,
其中,权重矩阵的每个矩阵元素被逐个写入对应表示一个矩阵元素的单个模拟电路器件中,以便通过单个模拟电路器件而非多个模拟电路器件的拼接来表示权重矩阵的单个矩阵元素,其中所述权重矩阵是通过权利要求1到5中任一项所述的非拼接权重训练方法得到的。
9.一种计算装置,包括存储器和处理器,存储器上存储有计算机可执行指令,所述计算机可执行指令当被处理器执行时执行权利要求1到5中任一项所述的非拼接权重训练方法或权利要求6到7中任一项所述的非拼接权重编码方法。
10.一种神经网络系统,包括:
如权利要求9所述的计算装置;以及
如权利要求8所述的神经网络芯片。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201780042640.0/1.html,转载请声明来源钻瓜专利网。