[发明专利]一种神经网络模型的稀疏化后向传播训练方法在审
申请号: | 201710453252.3 | 申请日: | 2017-06-15 |
公开(公告)号: | CN107273975A | 公开(公告)日: | 2017-10-20 |
发明(设计)人: | 孙栩;任宣丞;马树铭 | 申请(专利权)人: | 北京大学 |
主分类号: | G06N3/08 | 分类号: | G06N3/08 |
代理公司: | 北京万象新悦知识产权代理事务所(普通合伙)11360 | 代理人: | 黄凤茹 |
地址: | 100871*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 神经网络 模型 稀疏 传播 训练 方法 | ||
技术领域
本发明属于信息技术领域,涉及机器学习和深度学习技术,尤其涉及一种基于K大值的稀疏化(Sparsify)神经网络模型后向传播训练方法。
背景技术
神经网络模型的训练过程分为两个步骤:前向传播(Forward Propagation)和后向传播(Backward Propagation)。前向传播计算神经网络各层的输出,后向传播根据前向传播输出结果的梯度计算模型参数的梯度,最后神经网络模型利用这些梯度对参数进行更新。
现有的后向传播方法需要利用前向传播的输出结果的全部梯度信息来计算参数的梯度,这使得神经网络的训练耗时很长,计算量和耗电量大,而且会引入大量与实例相关度低的信息,从而使得训练好的神经网络模型的准确度较低。
发明内容
为了克服上述现有技术的不足,本发明提供一种基于K大值的稀疏化后向传播的训练方法,通过减少更新与实例相关度低的信息来提高神经网络的训练速度和训练效果。
本发明提供的技术方案是:
一种神经网络模型的稀疏化后向传播训练方法,在后向传播过程中通过采用基于K大值的稀疏化方法,减少更新与实例相关度低的信息,提高深度神经网络的训练速度和训练效果,包括如下步骤:
1)前向传播过程:
在前向传播的过程中,神经网络的每一层接受上层的输入x,通过给定的线性变换输出y和非线性变换输出z,并作为下一层的输入,最后一层的输出为整个网络的输出结果。前向传播的网络可以是前馈神经网络(MLP),循环神经网络(RNN)或长短时记忆网络(LSTM)等采用后向传播(图3)进行梯度计算的神经网络模型。
2)后向传播过程:
神经网络模型每一层的后向传播需要利用上一层的输出梯度(1≤i≤n,n为向量维度)作为输入计算梯度,本发明对输出梯度进行K大值稀疏化(Sparsify)的处理,即保留前向传播输出梯度的绝对值(absolute value,i.e.magnitude)最大的k个值(k的大小小于向量z的维度大小),剩余的值全部为0,例如则利用这个稀疏化处理后的向量进行梯度计算得到参数梯度,由于经过稀疏化处理,梯度计算时只需要计算与k个值有关的部分,剩余的部分不需要参与计算,可以降低后向传播的计算量;
具体地,本发明通过式1对输出梯度的绝对值做稀疏化处理:
其中,σi′是稀疏化处理后的向量;topk代表一个K大值稀疏化操作,即保留输入向量的所有维度的绝对值中前k大的值(k的大小小于向量z的维度n),剩余的值全部为0,例如则利用这个稀疏化处理后的向量σi′进行梯度计算得到参数梯度。
利用经式1进行稀疏化处理后的向量σi′计算参数矩阵W的梯度,计算公式为式2:
利用经式1进行稀疏化处理后的向量σi′计算输入向量x的梯度,计算公式为式3:
其中,{t1,t2,…,tk}(1≤k≤n)代表的所有维度的绝对值中前k大的值的下标。
当神经网络有多层时,本层的输入向量x即为下层的输出向量,因此输入向量x的梯度可以作为下一层的输出结果梯度传递下去。
采用本发明方法训练神经网络模型,由于每一层的梯度都经过了topk稀疏化处理(式1),只保留了与训练实例最相关的信息,可以大幅度地降低计算量和计算时间,并提高模型的准确度。
3)根据2)中后向传播求得的稀疏化梯度,对神经网络的参数进行更新:
本发明方法适用于所有采用了标准后向传播(图3)的训练算法,例如亚当(Adam)训练算法、自适应次梯度(Adagrad)训练算法、随机梯度下降算法(SGD)等。由于稀疏化梯度只保留了与实例最相关的信息,因此可以提高模型训练的可靠性。
本发明方法适用于所有采用了标准后向传播(图3)的神经网络模型,例如前馈神经网络(MLP),循环神经网络(RNN),长短时记忆网络(LSTM)等。
与现有技术相比,本发明的有益效果是:
本发明通过基于K大值的稀疏化后向传播的训练方法来降低训练时间和计算量,以及提高神经网络的准确度。通过本发明提供的后向传播方法,减少了神经网络的训练时间,尤其减少了神经网络模型的计算量和耗电量,稀疏化的过程没有降低模型的准确度,甚至由于只更新了与实例最相关的信息,神经网络模型的准确度可以得到提高。
附图说明
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大学,未经北京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710453252.3/2.html,转载请声明来源钻瓜专利网。