[发明专利]基于迁移学习的半自动神经网络调优方法

说明书

本公开涉及训练基于迁移学习的半自动调优神经网络的方法，包括获取一个或多个类别的训练样本，每个类别的训练样本包括相应的黑样本和白样本；整合所述一个或多个类别的黑样本和白样本；使用经整合的黑样本和白样本来训练通用型网络；将经训练的所述通用型网络的至少一部分迁移到专用型网络中，所述专用型网络包括分别与所述一个或多个类别对应的一个或多个子网络；以及使用所述一个或多个类别的训练样本来训练所述专用型网络以使得所述一个或多个子网络分别输出针对对应类别的分类结果。本公开还涉及该网络架构的形成和训练方法以及相应的半自动调优神经网络架构、装置和设备。

技术领域

本公开涉及机器学习，尤其涉及模型运维。

背景技术

针对给定的数据集实现最佳模型性能通常要求使用者选择合适的数据预处理任务，挑选适用的算法、模型和架构，并将其与合适的参数集联用。然而，对合适的数据预处理任务、算法、模型、架构和参数集的选择和确定并没有通用的经验法则。随着越来越多的模型不断被开发，即便是选择正确的模型这样的工作也会变得越来越困难。调参可能需要遍历所有可能的值或至少对其进行抽样尝试。

大数据时代下，需要大量不同结构和参数的机器学习模型来应对各种各样的业务和场景。人工的网络结构搜索、模型更换和手动调参的效率已经不能适应需求。

神经网络的结构会对结果产生巨大影响，但是找到最优的结构需要耗费大量的人力和物力。对于新的数据集，也需要投入大量的资源来搜索合适的结构。人工搜索已不能高效高质地完成这样的寻找和搜索。同样，针对特定的业务、场景和数据集，为了达到最优的效果所需的调参也需要耗费大量的人力和物力。

在此现状下，为了提高模型更新和参数更新的效率和效果并减少人工运维成本，需要能够自动化地更新模型结构和/或更新参数的技术。

发明内容

本公开的一方面涉及一种训练基于迁移学习的半自动调优神经网络的方法，包括获取一个或多个类别的训练样本，每个类别的训练样本包括相应的黑样本和白样本；整合所述一个或多个类别的黑样本和白样本；使用经整合的黑样本和白样本来训练通用型网络；将经训练的所述通用型网络的至少一部分迁移到专用型网络中，所述专用型网络包括分别与所述一个或多个类别对应的一个或多个子网络；以及使用所述一个或多个类别的训练样本来训练所述专用型网络以使得所述一个或多个子网络分别输出针对对应类别的分类结果。

根据一示例性实施例，整合所述一个或多个类别的黑样本和白样本进一步包括筛除经整合的白样本中的部分白样本。

根据一示例性实施例，整合所述一个或多个类别的黑样本和白样本进一步包括对经筛选的白样本进行随机采样以使得经整合黑样本与经随机采样的白样本的比例相当。

根据一示例性实施例，筛除经整合的白样本中的部分白样本包括筛除不易被误分类的白样本并保留易被误分类为黑样本的白样本。

根据一示例性实施例，将经训练的所述通用型网络的至少一部分迁移到专用型网络中包括切除经训练的所述通用型网络的最后一层或多层并连接所述专用型网络的所述一个或多个子网络。

根据一示例性实施例，使用所述一个或多个类别的训练样本来训练所述专用型网络以使得所述一个或多个子网络分别输出针对对应类别的分类结果包括对所述一个或多个子网络进行自适应调优，以使得每一个子网络仅能识别对应类别的黑样本和白样本，并且将非对应类别的黑样本和白样本均分类为白样本。

根据一示例性实施例，所述自适应调优包括以下至少一种：网格搜索、随机搜索、以及贝叶斯优化搜索。

根据一示例性实施例，该方法进一步包括当所述通用型网络达到阈值召回率时停止训练所述通用型网络。

根据一示例性实施例，所述通用型网络包括以下至少一种：多层感知机、深度神经网络、以及深度置信网络或循环神经网络。