[发明专利]神经网络搜索方法及装置在审
申请号: | 201910471323.1 | 申请日: | 2019-05-31 |
公开(公告)号: | CN110188878A | 公开(公告)日: | 2019-08-30 |
发明(设计)人: | 周心池;周东展;伊帅;欧阳万里 | 申请(专利权)人: | 北京市商汤科技开发有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06K9/62 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;熊永强 |
地址: | 100084 北京市海淀区中*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 搜索 预设 神经网络库 训练数据集 训练周期 搜索方法及装置 训练神经网络 阶段训练 计算资源 目标神经 序列集 减小 申请 排序 网络 | ||
1.一种神经网络搜索方法,其特征在于,所述方法包括:
获取待搜索神经网络库和训练数据集;
按对所述训练数据集的识别精度从高到低的顺序将所述待搜索神经网络库中已训练周期数为第一预设值的神经网络排序得到第一神经网络序列集,并将所述第一神经网络序列集中前M个神经网络作为第一待训练神经网络集;
使用所述训练数据集对所述第一待训练神经网络集进行第一阶段训练;所述第一阶段训练的训练周期数为第二预设值;
将所述待搜索神经网络库中已训练周期数为第一预设值与第二预设值的和的神经网络作为目标神经网络。
2.根据权利要求1所述的方法,其特征在于,所述按对所述训练数据集的识别精度从高到低的顺序将所述待搜索神经网络库中已训练周期数为第一预设值的神经网络排序得到第一神经网络序列集,并将所述第一神经网络序列集中前M个神经网络作为第一待训练神经网络集之前,所述方法还包括:
按对所述训练数据集的识别精度从高到低的顺序将所述待搜索神经网络库中已训练周期数为第三预设值的神经网络排序得到第二神经网络序列集,并将所述第二神经网络序列集中前N个神经网络作为第二待训练神经网络集;
使用所述训练数据集对所述第二待训练神经网络集进行第二阶段训练;所述第二阶段训练的训练周期数与所述第三预设值的和等于所述第一预设值。
3.根据权利要求2所述的方法,其特征在于,所述按对所述训练数据集的识别精度从高到低的顺序将所述待搜索神经网络库中已训练周期数为第三预设值的神经网络排序得到第二神经网络序列集,并将所述第二神经网络序列集中前N个神经网络作为第二待训练神经网络集之前,所述方法还包括:
在所述待搜索神经网络库中增加R个进化后的神经网络;所述进化后的神经网络通过进化所述待搜索神经网络库中的神经网络获得;
所述按对所述训练数据集的识别精度从高到低的顺序将所述待搜索神经网络库中已训练周期数为第三预设值的神经网络排序得到第二神经网络序列集,并将所述第二神经网络序列集中前N个神经网络作为第二待训练神经网络集,包括:
按对所述训练数据集的识别精度从高到低的顺序将所述待搜索神经网络库中已训练周期数为所述第三预设值的神经网络和所述R个进化后的神经网络排序得到第三神经网络序列集,并将所述第三神经网络序列集中前N个神经网络作为所述第二待训练神经网络集。
4.根据权利要求3所述的方法,其特征在于,所述使用所述训练数据集对所述第一待训练神经网络集进行第一阶段训练之后,所述方法还包括:执行X次迭代,所述迭代包括:
在所述待搜索神经网络库中增加S个进化后的神经网络;所述进化后的神经网络通过进化所述待搜索神经网络库中的神经网络获得;所述S与所述R相等;
按对所述训练数据集的识别精度从高到低的顺序将所述待搜索神经网络库中已训练周期数为所述第三预设值的神经网络和所述S个进化后的神经网络排序得到第四神经网络序列集,并将所述第四神经网络序列集中前N个神经网络作为第三待训练神经网络集;按对所述训练数据集的识别精度从高到低的顺序将所述待搜索神经网络库中已训练周期数为所述第一预设值的神经网络排序得到第五神经网络序列集,并将所述第五神经网络序列集中前M个神经网络作为第四待训练神经网络集;
使用所述训练数据集对所述第三待训练神经网络集进行所述第二阶段训练,以及使用所述训练数据集对所述第四待训练神经网络集进行所述第一阶段训练;
所述方法还包括:
移除所述待搜索神经网络库中在T次迭代中未被训练的神经网络;所述T小于所述X。
5.根据权利要求3或4所述的方法,其特征在于,所述在所述待搜索神经网络库中增加R个进化后的神经网络,包括:
复制所述待搜索神经网络库中的R个神经网络,得到R个复制后的神经网络;
通过修改所述R个复制后的神经网络的结构,以进化所述R个复制后的神经网络,获得R个待训练的神经网络;
使用所述训练数据集对所述R个待训练的神经网络进行第三阶段训练,获得所述R个进化后的神经网络;所述第三阶段训练的训练周期数为所述第三预设值;
将所述R个进化后的神经网络添加至所述待搜索神经网络库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京市商汤科技开发有限公司,未经北京市商汤科技开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910471323.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种神经网络压缩方法与装置
- 下一篇:运算方法、装置及相关产品