[发明专利]一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法在审
| 申请号： | 202211486815.6 | 申请日： | 2022-11-25 |
| 公开（公告）号： | CN115906991A | 公开（公告）日： | 2023-04-04 |
| 发明（设计）人： | 王海;陈嘉轩;郭锦程;黄乐天 | 申请（专利权）人： | 电子科技大学长三角研究院（湖州） |
| 主分类号： | G06N3/082 | 分类号： | G06N3/082;G06N3/044 |
| 代理公司： | 广州三环专利商标代理有限公司 44202 | 代理人： | 唐莉梅 |
| 地址： | 313000 浙江省湖州*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 针对 序列 问题 循环 神经网络 压缩 获得 快照 方法 | ||
1.一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法，其特征在于，包括如下步骤：
S1、在生成快照前对原神经网络输入矩阵进行奇异值分解；
S2、根据奇异值分布选择截断维数q，截断奇异值与奇异向量矩阵TSVD；
S3、利用截断的矩阵构建新输入权重矩阵并重建用于采样的神经网络；
S4、用于采样的神经网络前向传播并进行状态采样生成鲁棒快照；
S5、对鲁棒快照进行POD得到鲁棒的压缩投影算子。
2.根据权利要求1所述的一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法，其特征在于：步骤S1中原神经网络结构为ht＝f(Uht-1+Wxt)，其中ht与ht-1为当前时刻得到的状态与上一时刻的状态，xt为当前时刻的输入向量，其长度为nin，U为状态到隐藏层矩阵，W为输入到隐藏层矩阵，f()为该网络采用的非线性激活函数，常用的有tanh与sigmoid函数，通过将输入到隐藏层矩阵W以所述替换后，得到用于采样的神经网络
3.根据权利要求1所述的一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法，其特征在于：步骤S4中对鲁棒快照进行TSVD从而获得压缩投影算子进行神经网络压缩时，应用于原神经网络而不是用于采样的神经网络。
4.根据权利要求3所述的一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法，其特征在于：所述TSVD流程在采样得到快照前应用在待采样神经网络的输入到隐藏层矩阵上，其中n为原神经网络的隐藏层维度，nin为输入序列长度。
5.根据权利要求4所述的一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法，其特征在于：经过TSVD后分解并截断为两个秩为q的低秩矩阵，并合并回被视为已经去除输入层冗余的用于生成快照的输入到隐藏层矩阵
6.根据权利要求1所述的一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法，其特征在于：本发明方法构建的用于采样的神经网络仅用于状态采样并生成鲁棒快照的流程。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于电子科技大学长三角研究院（湖州），未经电子科技大学长三角研究院（湖州）许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202211486815.6/1.html，转载请声明来源钻瓜专利网。
