[发明专利]基于权值敏感度的二值神经网络硬件压缩方法有效
申请号: | 201811000016.7 | 申请日: | 2018-08-30 |
公开(公告)号: | CN109212960B | 公开(公告)日: | 2020-08-14 |
发明(设计)人: | 周军;王尹 | 申请(专利权)人: | 周军 |
主分类号: | G05B13/02 | 分类号: | G05B13/02 |
代理公司: | 成都佳划信知识产权代理有限公司 51266 | 代理人: | 余小丽 |
地址: | 610000 四川省成都市高*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 敏感度 神经网络 硬件 压缩 方法 | ||
本发明公开了一种基于权值敏感度的二值神经网络硬件压缩方法,包括以下步骤:采用二值神经网络训练,以获得权值矩阵和原始准确度;评估任一权值矩阵的敏感度;预设敏感度阀值,划分权值矩阵的敏感集和非敏感集;评估权值矩阵的非敏感集的敏感度;调整敏感度阀值,获得权值矩阵的最佳非敏感集;所述最佳非敏感集的敏感度等于预设的最大准确度损失值;将所述最佳非敏感集存储至新型存储器或采用近阀值/亚阀值电压技术的传统存储器中。通过上述方案,本发明具有功耗低、识别率高、通用性良好、成本低廉等优点,在硬件压缩技术领域具有广阔的市场前景。
技术领域
本发明涉及硬件压缩技术领域,尤其是基于权值敏感度的二值神经网络硬件压缩方法。
背景技术
目前,为了减少神经网络硬件实现所需的资源开销和功耗,所采用的主流方法有硬件架构优化、神经网络压缩、二值神经网络等。其中,硬件架构优化是在硬件层面设计更高效实现神经网络的方法,减少数据占用的内存资源,减少数据在内存读写和运算方式上的冗余,从而达到降低资源开销和功耗的目的。而神经网络压缩是通过减少神经网络中权值的个数和量化比特数来实现网络模型的压缩,同时保证压缩后神经网络的识别准确率不受影响。通常情况下,神经网络中的大量权值都是绝对值接近于0的数,因此可将网络中绝对值很小的权值去掉(即为0),使得该处不存在连接,减少网络中权值的总个数。网络中的权值都是精确度很高的小数,在硬件存储中,需要将这些小数量化为固定位数的定点数,为保证权值的高精度,通常使用32位来存储一个权值,因此造成存储开销较大。可将每个权值做更粗略的量化,即用更少的位数(如3位)来表示高精度小数,网络中不同层的权值可采用不同的量化位数,以保证神经网络的识别准确率。传统的神经网络压缩,首先,正常训练一个神经网络,把训练后的神经网络中权值绝对值小于阈值的置为0(即该处两个神经元之间不存在连接),使得神经网络稀疏,从而减少网络中权值的数量,然后对稀疏的网络进行重新训练;接下来把剩下的权值通过K-means聚类的方法分为几个类别,对每个类别进行编码,每个权值用类别编码表示,假如分为4类,则只需2位编码表示每个权值,每个类别的权值共享同一个数值,然后对权值的编码进行重新训练;最后,采用霍夫曼编码来进一步优化每个权值的编码,实现有效压缩。
二值神经网络,是将神经网络中的权值(或者包括每层输入值)直接量化为1或-1,在硬件中只需要1位来表示权值,大大减少每个权值所需要的位数。二值神经网络中主要有四种形式的网络,分别为BinaryConnect(二元连接)、BNN(二值神经网络)、BWN(二值权重网络)、XNOR-Net(同或网络),它们之间只是量化的对象不同,但都是将数值转变为1或-1表示。BinaryConnect和BWN是只将权值量化为二值1或-1,BNN和XNOR-Net是将权值和每层的输入值都量化为二值1或-1。在神经网络中,每一层的计算主要为输入向量与权值矩阵之间乘法操作。若只将权值量化1或-1,则使得输入向量与权值矩阵之间的乘法操作转化为了加减法操作,减少乘法操作;若将权值和每层输入值都量化1或-1,则使得输入向量与权值矩阵的乘法操作转化为1bit的同或操作,比加减法操作更加节省功耗。BWN和XNOR-Net比BinaryConnect和BNN多引入比例因子,因此更能很好地保证复杂任务的识别准确率。
传统的压缩方法存在以下不足之处:
第一,硬件架构优化和神经网络压缩节省硬件资源和功耗较差;相对于硬件架构优化和神经网络压缩来说,由于二值神经网络可以实现至少32倍的压缩(原始网络权值用32位表示,二值神经网络只有1位表示),且在计算上乘法运算转换为加减运算或者1bit同或运算,大大降低了硬件存储开销和计算功耗。而硬件架构优化和神经网络压缩虽然在一定程度上节省存储量和功耗,但不如二值神经网络简单。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于周军,未经周军许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811000016.7/2.html,转载请声明来源钻瓜专利网。