[发明专利]一种基于参数融合的神经网络快速收敛样本训练方法在审
申请号: | 202110326870.8 | 申请日: | 2021-03-26 |
公开(公告)号: | CN113111999A | 公开(公告)日: | 2021-07-13 |
发明(设计)人: | 许铭洋;包晓安;包梓群;邵一鸣;马云龙;马铉钧 | 申请(专利权)人: | 浙江理工大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 杭州求是专利事务所有限公司 33200 | 代理人: | 郑海峰 |
地址: | 310018 浙江省杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 参数 融合 神经网络 快速 收敛 样本 训练 方法 | ||
1.一种基于参数融合的神经网络快速收敛样本训练方法,其特征在于,包括如下步骤:
步骤A:对神经网络的不同节点分块,得到若干第一节点块;使用第一融合函数对块内节点参数进行计算,得到每一组相同的节点参数对应的第一融合值,则每一个第一节点块对应一个第一融合参数集合,构成第一分块神经网络;
步骤B:使用间隔分块策略,得到若干第二节点块;使用第二融合函数对块内节点参数进行计算,得到每一组相同的节点参数对应的第二融合值,则每一个第二节点块对应一个第二融合参数集合,构成的第二分块神经网络;
步骤C:在训练集上分别对第一分块神经网络和第二分块神经网络进行训练,得到训练好的第一融合参数集合和第二融合参数集合;
步骤D:对训练得到的融合参数进行分解;
步骤E:将分解得到的参数作为神经网络的初始化参数值,再次在训练集上进行训练微调,直至达到预设迭代训练次数或损失值。
2.根据权利要求1所述的基于参数融合的神经网络快速收敛样本训练方法,其特征在于,神经网络中的关键节点不参与分块,所述的关键节点包括对输入数据进行特殊操作的节点或者参数结构与其他节点有较大差异的节点。
3.根据权利要求2所述的基于参数融合的神经网络快速收敛样本训练方法,其特征在于,对非关键节点进行排序,设定节点块滑窗的长度和步长,通过滑窗的方式进行分块。
4.根据权利要求3所述的基于参数融合的神经网络快速收敛样本训练方法,其特征在于,所述的步骤A,具体为:
步骤A1:从第一个节点开始,将神经网络的节点基于预设规则进行分块,直到最后一个节点,得到若干第一节点块;
步骤A2:针对若干第一节点块,设定第一融合函数f1(xt,xt+1,xt+2,……,xm),其中,t为该节点块内首节点的序列索引号,xt为该节点块内首节点中任一参数的数值,m为该节点块内末尾节点的序列索引号,xm为该节点块内末尾节点中相同参数的数值,m+1为每一个节点块中的节点数量;若某一个节点中不存在相对应的参数,则将不存在的参数置为0;
步骤A3:根据第一融合函数,计算每一个第一节点块中相同的一组参数对应的第一融合值X1,x=f1(xt,xt+1,xt+2,……,xm),其中,X1,x为第x个参数的第一融合值;由于一个节点中存在若干种参数,每一种参数均对应一个融合值,因此一个第一节点块对应一个第一融合参数集合(X1,1,X1,2,X1,3,……,X1,P),P表示节点块中的参数种类;
步骤A4:将每一个第一节点块作为一个新节点,所述新节点的参数种类为该节点块对应的第一融合参数集合不为0的参数,其数值即为第一融合参数集合中的融合值;将新节点和关键节点构成第一分块神经网络。
5.根据权利要求4所述的基于参数融合的神经网络快速收敛样本训练方法,其特征在于,所述的第一融合函数采用多元一次多项式函数,表示为:
f1(xt,xt+1,xt+2,……,xm)=k1xt+k2xt+1+k3xt+2+,……,km-t+1xm
其中,k1、k2、k3……km-t+1为多项式系数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江理工大学,未经浙江理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110326870.8/1.html,转载请声明来源钻瓜专利网。