[发明专利]神经网络模型分块压缩方法、训练方法、计算装置及系统有效
申请号: | 201780042629.4 | 申请日: | 2017-12-29 |
公开(公告)号: | CN109791628B | 公开(公告)日: | 2022-12-27 |
发明(设计)人: | 张悠慧;季宇;张优扬 | 申请(专利权)人: | 清华大学 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/063 |
代理公司: | 北京睿邦知识产权代理事务所(普通合伙) 11481 | 代理人: | 徐丁峰 |
地址: | 100084*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 模型 分块 压缩 方法 训练 计算 装置 系统 | ||
一种用于神经网络的网络模型分块压缩方法,包括:权重矩阵获得步骤,获得经过训练得到的神经网络的网络模型的权重矩阵;权重矩阵分块步骤,按照预定阵列大小将权重矩阵划分成由若干初始子块组成的阵列;待裁剪权值元素集中步骤,根据子块中的矩阵元素的权值绝对值和值,通过行列交换,将权值较小的矩阵元素集中到待裁剪子块中,使得该待裁剪子块中的矩阵元素的权值绝对值和值相对于不是待裁剪子块的其他子块中的矩阵元素的权值绝对值和值更小;子块裁剪步骤,将上述待裁剪子块中的矩阵元素的权值裁剪掉,获得最终的权重矩阵,以实现对神经网络的网络模型的压缩。实现能够节省资源开销,在有限资源的条件下布置规模巨大的神经网络。
技术领域
本发明总体地涉及神经网络技术领域,更具体地涉及用于神经网络的网络模型分块压缩方法、训练方法、计算装置以及硬件系统。
背景技术
随着摩尔定律逐渐失效,传统芯片工艺进步放缓,人们不得不面向新应用和新器件。近年来,神经网络(Neural Network,NN)计算取得了突破性进展,在图像识别、语言识别、自然语言处理等诸多领域均取得了很高的准确率,但神经网络需要海量计算资源,传统的通用处理器已经很难满足深度学习的计算需求,设计专用芯片已经成为了一个重要的发展方向。
具体地,神经网络的建模通常以若干神经元为一层,层与层之间相互连接来构建,图1所示的是一种链状的神经网络,图中每一个圆表示一个神经元,每一个箭头表示神经元之间的连接,每个连接均有权重,实际神经网络的结构不限于链状的网络结构。
神经网络的核心计算是矩阵向量乘操作,包含n个神经元的层Ln产生的输出可以用长度为n的向量Vn表示,与包含m个神经元的层Lm全相联,连接权重可以表示成矩阵Mn×m,矩阵大小为n行m列,每个矩阵元素表示一个连接的权重。则加权之后输入到Lm的向量为Mn×mVn,这样的矩阵向量乘法运算是神经网络最核心的计算。
由于矩阵向量乘计算量非常大,在传统的通用处理器上进行大量的矩阵乘运算需要耗费大量的时间,因此神经网络加速芯片也都是以加速矩阵乘法运算为主要的设计目标。
忆阻器阵列是一种能够实现上述矩阵乘法运算的硬件器件。每个忆阻器的电阻阻值可以在特定的输入电流下改变,并且阻值可以用来存储数据。相比传统的DRAM(动态随机存储器)和SRAM(静态随机存储器),忆阻器具有存储密度高且在失去供电的情况下也不会丢失数据的特点。
图2示出了基于忆阻器的交叉开关(Crossbar)结构的示意图。
如图2所示,通过将线路排布成交叉开关(Crossbar),并在相交点用忆阻器相连,将忆阻器的电导值G(电阻的倒数)设置为权重矩阵的矩阵元数值,通过在输入端输入电压值V,电压V与忆阻器电导G相乘并叠加输出电流,输出电流与接地电阻Rs相乘得到输出电压V’,由此在输出端即可完成矩阵向量乘法运算。以此为基本单元,可以构建基于新型器件的神经形态芯片。
由于整个过程在模拟电路下实现,具有速度快,面积小的优点。
然而,使用基于忆阻器的芯片计算也存在精度低、扰动大,数模/模数转换开销大,矩阵规模受限等不足。
类似地,TrueNorth也是能够进行矩阵向量乘法运算的芯片。TrueNorth是IBM公司的神经形态芯片,每块芯片上集成了4096个神经突触核,每个神经突触核可以处理256×256的神经突触计算。
虽然忆阻器阵列和TrueNorth芯片均可以高效地进行矩阵向量乘法运算,但是由于神经网络规模巨大,需要数量惊人的阵列,这带来了海量的资源开销,使得基于这些芯片器件实现的神经网络,很难在有限资源的条件下布置规模巨大的初始神经网络。
因此,需要将神经网络模型进行压缩,以减小资源开销,提高神经网络计算效率。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201780042629.4/2.html,转载请声明来源钻瓜专利网。