[发明专利]基于迁移学习的半自动神经网络调优方法在审
申请号: | 201910629527.3 | 申请日: | 2019-07-12 |
公开(公告)号: | CN110443352A | 公开(公告)日: | 2019-11-12 |
发明(设计)人: | 管楚;潘健民;张鹏 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06Q50/26 |
代理公司: | 北京国昊天诚知识产权代理有限公司 11315 | 代理人: | 许振新;朱文杰 |
地址: | 英属开曼群岛大开*** | 国省代码: | 开曼群岛;KY |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 样本 神经网络 专用型 网络 训练样本 迁移 通用型 整合 多个类别 分类结果 网络包括 网络架构 架构 输出 学习 | ||
1.一种训练基于迁移学习的半自动调优神经网络的方法,包括:
获取一个或多个类别的训练样本,每个类别的训练样本包括相应的黑样本和白样本;
整合所述一个或多个类别的黑样本和白样本;
使用经整合的黑样本和白样本来训练通用型网络;
将经训练的所述通用型网络的至少一部分迁移到专用型网络中,所述专用型网络包括分别与所述一个或多个类别对应的一个或多个子网络;以及
使用所述一个或多个类别的训练样本来训练所述专用型网络以使得所述一个或多个子网络分别输出针对对应类别的分类结果。
2.如权利要求1所述的方法,其特征在于,整合所述一个或多个类别的黑样本和白样本进一步包括:
筛除经整合的白样本中的部分白样本。
3.如权利要求2所述的方法,其特征在于,整合所述一个或多个类别的黑样本和白样本进一步包括:
对经筛选的白样本进行随机采样以使得经整合黑样本与经随机采样的白样本的比例相当。
4.如权利要求2所述的方法,其特征在于,筛除经整合的白样本中的部分白样本包括:
筛除不易被误分类的白样本并保留易被误分类为黑样本的白样本。
5.如权利要求1所述的方法,其特征在于,将经训练的所述通用型网络的至少一部分迁移到专用型网络中包括:
切除经训练的所述通用型网络的最后一层或多层并连接所述专用型网络的所述一个或多个子网络。
6.如权利要求1所述的方法,其特征在于,使用所述一个或多个类别的训练样本来训练所述专用型网络以使得所述一个或多个子网络分别输出针对对应类别的分类结果包括:
对所述一个或多个子网络进行自适应调优,以使得每一个子网络仅能识别对应类别的黑样本和白样本,并且将非对应类别的黑样本和白样本均分类为白样本。
7.如权利要求6所述的方法,其特征在于,所述自适应调优包括以下至少一种:网格搜索、随机搜索、以及贝叶斯优化搜索。
8.如权利要求1所述的方法,其特征在于,进一步包括:
当所述通用型网络达到阈值召回率时停止训练所述通用型网络。
9.如权利要求1所述的方法,其特征在于,所述通用型网络包括以下至少一种:多层感知机、深度神经网络、以及深度置信网络或循环神经网络。
10.如权利要求1所述的方法,其特征在于,所述一个或多个专用型网络中的每一个专用型网络包括以下至少一种:多层感知机、深度神经网络、深度置信网络以及循环神经网络。
11.如权利要求1所述的方法,其特征在于,所述通用型网络包括多层感知机,并且所述一个或多个专用型网络包括深度神经网络。
12.如权利要求1所述的方法,其特征在于,所述通用型网络包括输入层、一个或多个隐层、以及输出层,并且将经训练的所述通用型网络的至少一部分迁移到专用型网络中进一步包括:
切除所述通用型网络的所述输出层,并且
保留所述通用型网络的剩余部分的连接和权重。
13.如权利要求12所述的方法,其特征在于,将经训练的所述通用型网络的至少一部分迁移到专用型网络中进一步包括:
切除所述通用型网络的最后一个或多个隐层,并且
保留所述通用型网络的剩余部分的连接和权重。
14.如权利要求1所述的方法,其特征在于,将经训练的所述通用型网络的至少一部分迁移到专用型网络中包括:
通过突触将所述一个或多个专用型网络全连接到所述通用型网络中所保留的最后一层的每一个神经元。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910629527.3/1.html,转载请声明来源钻瓜专利网。