[发明专利]神经网络结构确定方法及装置以及相关产品在审
| 申请号: | 202110510341.3 | 申请日: | 2021-05-11 |
| 公开(公告)号: | CN115329925A | 公开(公告)日: | 2022-11-11 |
| 发明(设计)人: | 不公告发明人 | 申请(专利权)人: | 寒武纪行歌(南京)科技有限公司 |
| 主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
| 代理公司: | 北京林达刘知识产权代理事务所(普通合伙) 11277 | 代理人: | 刘新宇 |
| 地址: | 210000 江苏省南京市麒麟科技创*** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 神经网络 结构 确定 方法 装置 以及 相关 产品 | ||
1.一种神经网络结构确定方法,其特征在于,包括:
根据所述当前结构调节周期的第一神经网络进行优化,获得第二神经网络;
根据所述第二神经网络的多个第一子网络的验证结果,确定所述第二神经网络的各网络层级中的目标网络块,其中,所述第一子网络包括所述第二神经网络的各个网络层级的多个网络块中随机选取网络块;
根据所述第二神经网络的各网络层级中的目标网络块,确定下一个结构调节周期的第一神经网络,其中,所述下一个结构调节周期的第一神经网络的各网络层级包括的网络块的数量少于当前结构调节周期的第一神经网络的各网络层级包括的网络块的数量;
在第一神经网络的网络结构符合结构条件的情况下,获得目标神经网络。
2.根据权利要求1所述的方法,其特征在于,根据所述第二神经网络的多个第一子网络的验证结果,确定所述第二神经网络的各网络层级中的目标网络块,包括:
根据所述多个第一子网络的验证结果,在所述多个第一子网络中确定第一预设数量的第二子网络;
对所述第一预设数量的第二子网络中各网络层级所包括的网络块进行统计,确定所述第一预设数量的第二子网络中的目标网络块,其中,所述目标网络块为第一预设数量的第二子网络的各网络层级的网络块中满足数量要求的网络块。
3.根据权利要求2所述的方法,其特征在于,根据所述第二神经网络的各网络层级中的目标网络块,确定下一个结构调节周期的第一神经网络,包括:
在所述第一预设数量的第二子网络为验证结果不符合准确率要求的子网络的情况下,在所述第二神经网络中,去除所述目标网络块,获得所述下一个结构调节周期的第一神经网络。
4.根据权利要求2所述的方法,其特征在于,根据所述第二神经网络的各网络层级中的目标网络块,确定下一个结构调节周期的第一神经网络,包括:
在所述第一预设数量的第二子网络为验证结果符合准确率要求的子网络的情况下,在所述第二神经网络中,保留所述目标网络块,并去除其他网络块,获得所述下一个结构调节周期的第一神经网络。
5.根据权利要求1所述的方法,其特征在于,所述结构调节周期包括多个超参数调节周期,
其中,根据所述当前结构调节周期的第一神经网络进行优化,获得第二神经网络,包括:
根据第一个超参数调节周期的超参数,对所述第一神经网络的第三子网络进行训练,获得第一个超参数调节周期的第三神经网络,其中,所述第三子网络包括所述第一神经网络的各个网络层级的多个网络块中随机选取网络块,所述第一个超参数调节周期的超参数是在超参数集中选取获得的;
根据当前超参数调节周期的第一集合,以及当前超参数调节周期的第二集合,进行超参数调节处理,在所述当前结构调节周期的超参数集中确定下一个超参数调节周期的超参数,并确定下一个超参数调节周期的第三神经网络,其中,所述当前超参数调节周期的第一集合包括当前超参数调节周期的超参数和历史超参数调节周期的超参数,所述当前超参数调节周期的第二集合包括当前超参数调节周期的第三神经网络的验证结果和历史超参数调节周期的第三神经网络的验证结果,所述第三神经网络的验证结果包括对所述第三神经网络的各个网络层级的多个网络块中随机采样获得的多个第四子网络的验证结果;
根据当前结构调节周期中最后一个超参数调节周期的第一集合、第二集合,以及多个超参数调节周期的第三神经网络,确定所述第二神经网络。
6.根据权利要求5所述的方法,其特征在于,根据当前结构调节周期中最后一个超参数调节周期的第一集合、第二集合,以及多个超参数调节周期的第三神经网络,确定所述第二神经网络,包括:
根据最后一个超参数调节周期的第二集合,在最后一个超参数调节周期的第一集合中确定目标超参数;
将所述目标超参数对应的超参数调节周期的第三神经网络,确定为所述第二神经网络。
7.根据权利要求5所述的方法,其特征在于,所述多个第一子网络包括确定所述第二集合中的验证结果时获得的第四子网络,以及确定所述第二神经网络后对所述第二神经网络的各个网络层级的多个网络块进行随机采样获得的子网络。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于寒武纪行歌(南京)科技有限公司,未经寒武纪行歌(南京)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110510341.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:拉链
- 下一篇:一种使用子带隙电压的低压UVLO电路及方法





