[发明专利]一种加速训练循环神经网络的混合激活函数确定方法在审
| 申请号： | 202011030197.5 | 申请日： | 2020-09-25 |
| 公开（公告）号： | CN114254729A | 公开（公告）日： | 2022-03-29 |
| 发明（设计）人： | 张宁;沈水龙;郑钤;闫涛 | 申请（专利权）人： | 汕头大学 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08 |
| 代理公司： | 广州三环专利商标代理有限公司 44202 | 代理人： | 周增元 |
| 地址： | 515000 广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 加速 训练 循环 神经网络 混合 激活 函数 确定 方法 | ||
1.一种加速训练循环神经网络的混合激活函数确定方法，其特征在于，包括以下步骤：
S1：初始化循环神经网络的权值参数W，以及混合激活函数的参数α、β、λ；
S2：将数据集输入循环神经网络，计算误差分量，更新权值参数W，计算代价函数下降幅度Jd：
其中，J0表示在指定迭代过程中，代价函数的初始值；Jk为在指定迭代过程中第k次迭代的代价函数值；
S3：若代价函数下降幅度Jd满足预设条件，则更新激活函数参数α、β、λ；
S4：返回S2，迭代训练循环神经网络，直至代价函数J小于预设数值χ或达到预定迭代训练次数Iter。
2.根据权利要求1所述的加速训练循环神经网络的混合激活函数确定方法，其特征在于，所述权值参数W为循环神经网络节点之间可训练的参数。
3.根据权利要求2所述的加速训练循环神经网络的混合激活函数确定方法，其特征在于，所述步骤S1中初始化过程为：
其中，U为均匀分布，Nl为LSTM模型第l层数据层的节点数量，L为循环神经网络的层数。
4.根据权利要求3所述的加速训练循环神经网络的混合激活函数确定方法，其特征在于，所述混合激活函数由双曲正切函数和线性单元混合组成的激活函数，满足公式
其中，f(x)为混合激活函数，f＇(x)为混合激活函数的导数，tanh(x)为双曲正切函数，α、β、λ为混合激活函数系数。
5.根据权利要求1所述的加速训练循环神经网络的混合激活函数确定方法，其特征在于，所述更新权值参数W满足公式：
其中，J为代价函数。
6.根据权利要求1所述的加速训练循环神经网络的混合激活函数确定方法，其特征在于，所述预设条件为预设的代价函数下降幅度阈值，若满足阈值条件，则更新激活函数参数。
7.根据权利要求1所述的加速训练循环神经网络的混合激活函数确定方法，其特征在于，所述更新激活函数参数满足公式：
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于汕头大学，未经汕头大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202011030197.5/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种拟合多尺度数据集的多尺度神经网络方法
- 下一篇：一种夹持机构及云台
