[发明专利]基于块张量分解的循环神经网络稀疏连接方法有效
| 申请号： | 201711290493.7 | 申请日： | 2017-12-08 |
| 公开（公告）号： | CN107798385B | 公开（公告）日： | 2020-03-17 |
| 发明（设计）人： | 徐增林;叶锦棉;李广西;陈迪 | 申请（专利权）人： | 电子科技大学 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08 |
| 代理公司： | 成都宏顺专利代理事务所(普通合伙) 51227 | 代理人： | 周永宏 |
| 地址： | 611731 四川省成*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种基于块张量分解的循环神经网络稀疏连接方法，应用于深度学习神经网络结构优化领域，解决现有的方法未能同时基于输入数据的高维事实和全连接本身的冗余特性进行分析和优化，从而不能同时达到加快训练速度和维持或提高模型精度的问题；本发明的方法考虑到深度网络中全连接层的稀疏性，引入了张量分解思想，提升了网络参数共享程度，并利用BPTT进行模型训练，适应于目前深度网络绝大部分的应用场景；相比于已有的全连接方式，本发明方法在训练速度，收敛精度上有较大的提升。 | ||
| 搜索关键词： | 基于 张量 分解 循环 神经网络 稀疏 连接 方法 | ||
【主权项】：
基于块张量分解的循环神经网络稀疏连接方法，其特征在于，包括：S1、对网络的输入向量x张量化，得到第一张量对记忆向量h张量化，得到第二张量对全连接权重矩阵W张量化，得到第三张量S2、对第三张量进行张量分解，得到张量分解后的第三张量S3、用表示新的稀疏连接方式，替换原矩阵乘法W·x为新的张量乘法S4、采用BPTT算法对循环神经网络进行训练。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于电子科技大学，未经电子科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711290493.7/，转载请声明来源钻瓜专利网。
