[发明专利]神经网络的生成方法、装置、电子设备及存储介质有效
申请号: | 202110602323.8 | 申请日: | 2021-05-31 |
公开(公告)号: | CN113326922B | 公开(公告)日: | 2023-06-13 |
发明(设计)人: | 苏修;游山;郑明凯;王飞;钱晨 | 申请(专利权)人: | 北京市商汤科技开发有限公司 |
主分类号: | G06N3/045 | 分类号: | G06N3/045;G06N3/0475;G06N3/084 |
代理公司: | 北京中知恒瑞知识产权代理事务所(普通合伙) 11889 | 代理人: | 吴迪 |
地址: | 100080 北京市海淀区北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 生成 方法 装置 电子设备 存储 介质 | ||
1.一种神经网络的生成方法,其特征在于,包括:
获取图像样本数据;
从基于多个结构相同的超大神经网络确定的路径搜索空间中,确定待训练路径,所述待训练路径包括所述超大神经网络的多个网络层中每个网络层的一个可选算子,所述算子用于对输入至由所述待训练路径形成的神经网络中对应网络层的图像样本数据进行处理;
基于所述待训练路径中的各个算子分别在多个所述超大神经网络中的第一算子内参、以及所述待训练路径分别在多个所述超大神经网络中的路径权重,确定所述待训练路径中各算子在所述待训练路径中的第二算子内参;
利用所述第二算子内参,对多个所述超大神经网络进行本轮训练;其中,所述本轮训练至少包括下述步骤:
利用所述待训练路径中各个算子的第二算子内参,构建第一神经网络;
利用所述第一神经网络对所述图像样本数据进行目标对象检测或目标对象的类型检测处理,得到所述图像样本数据的第一处理结果;
基于所述第一处理结果、以及所述图像样本数据对应于目标对象检测或目标对象的类型检测的标签信息,确定第一损失;
基于所述第一损失,调整各个算子分别在多个所述超大神经网络中的第一算子内参;
基于多轮训练后的多个所述超大神经网络,生成目标神经网络。
2.根据权利要求1所述的生成方法,其特征在于,所述从基于多个结构相同的超大神经网络确定的路径搜索空间中,确定待训练路径,包括:
针对本轮训练为首轮训练的情况,从所述路径搜索空间中,随机确定多条待训练路径;
针对本轮训练为非首轮训练的情况,基于前一轮训练确定的多条待训练路径分别对应的训练结果,从所述前一轮训练确定的多条待训练路径中,确定本轮训练中的父路径;
对所述父路径进行变异和/或交叉处理,得到本轮训练对应的待训练路径。
3.根据权利要求1或2所述的生成方法,其特征在于,所述基于所述待训练路径中的各个算子分别在多个所述超大神经网络中的第一算子内参、以及所述待训练路径分别在多个所述超大神经网络中的路径权重,确定所述待训练路径中各算子在所述待训练路径中的第二算子内参,包括:
针对所述待训练路径中的各算子,利用所述待训练路径分别在多个所述超大神经网络中的路径权重,对该算子分别在多个所述超大神经网络中的第一算子内参进行加权求和,得到该算子在所述待训练路径中的第二算子内参。
4.根据权利要求1-3任一项所述的生成方法,其特征在于,还包括:确定待训练路径的路径编码;
基于所述路径编码,得到所述待训练路径分别在多个所述超大神经网络中的路径权重。
5.根据权利要求4所述的生成方法,其特征在于,所述确定待训练路径的路径编码,包括:
确定待训练路径中各个算子的独热编码;
基于所述待训练路径中各个算子的独热编码,得到所述待训练路径的路径编码。
6.根据权利要求4或5所述的生成方法,其特征在于,所述基于所述路径编码,得到所述待训练路径分别在多个所述超大神经网络中的路径权重,包括:
对所述路径编码进行全连接处理,并基于所述全连接处理的结果,得到所述待训练路径分别在多个所述超大神经网络中的路径权重。
7.根据权利要求4-6任一项所述的生成方法,其特征在于,还包括:
基于所述待训练路径中各个算子分别对应的输出通道的通道数量,确定所述待训练路径的通道编码;
所述基于所述路径编码,得到所述待训练路径分别在多个所述超大神经网络中的路径权重,包括:
对所述路径编码以及所述通道编码进行数据融合处理,得到融合编码;
基于所述融合编码,得到所述待训练路径分别在多个所述超大神经网络中的路径权重。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京市商汤科技开发有限公司,未经北京市商汤科技开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110602323.8/1.html,转载请声明来源钻瓜专利网。