[发明专利]一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法在审
申请号: | 202211486815.6 | 申请日: | 2022-11-25 |
公开(公告)号: | CN115906991A | 公开(公告)日: | 2023-04-04 |
发明(设计)人: | 王海;陈嘉轩;郭锦程;黄乐天 | 申请(专利权)人: | 电子科技大学长三角研究院(湖州) |
主分类号: | G06N3/082 | 分类号: | G06N3/082;G06N3/044 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 唐莉梅 |
地址: | 313000 浙江省湖州*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法,包括如下步骤:S1、在生成快照前对原神经网络输入矩阵进行奇异值分解;S2、根据奇异值分布选择截断维数q,截断奇异值与奇异向量矩阵TSVD;S3、利用截断的矩阵构建新输入权重矩阵并重建用于采样的神经网络;S4、用于采样的神经网络前向传播并进行状态采样生成鲁棒快照;S5、对鲁棒快照进行POD得到鲁棒的压缩投影算子。相比于直接从原网络生成采样的方法,在采样过程中在原网络的输入矩阵上采用TSVD构建新神经网络并生成替代的采样,可加速快照的生成速度,减少由于长序列输入带来的输入到隐藏层信息的冗余,生成鲁棒的快照。 | ||
搜索关键词: | 一种 针对 序列 问题 循环 神经网络 压缩 获得 快照 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于电子科技大学长三角研究院(湖州),未经电子科技大学长三角研究院(湖州)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202211486815.6/,转载请声明来源钻瓜专利网。