[发明专利]模型优化方法、装置、存储介质及设备

说明书

本申请公开了一种模型优化方法、装置、存储介质及设备，属于AI领域。在本申请实施例中，可以同时获取包含有多个搜索项的搜索配置信息，进而根据该搜索配置信息对多个搜索项分别对应的搜索算子进行编排，得到组合算子。这样，就可以根据该组合算子，对该原模型同时进行多个搜索项对应的优化。也即，本申请实施例可以实现同时对原模型的多个维度的联合优化，从而得到综合空间内的优化后的模型，提高了模型的性能。

本申请要求于2019年9月17日提交的申请号为201910877331.6、申请名称为“一种自动搜索AI模型的方法及系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及人工智能(artificial intelligence，AI)领域，特别涉及一种模型优化方法、装置、存储介质及设备。

背景技术

随着AI模型的应用越来越广泛，不同的应用场景对AI模型的性能要求也不相同，例如：对于应用于智能手机解锁的人脸识别模型，需要该人脸识别模型达到99.2％的准确度，以及较小的推理时延；对于应用于物体分类的模型，需要该分类模型准确率高于95％即可。AI模型的性能与AI模型的结构、模型的超参数、训练数据或推理数据、损失函数等具有强相关关系。

为了获得符合应用需求的AI模型，目前，相关技术中提供了各种AI平台，这些AI平台可以根据用户的需求，对生成的初始网络或者用户提供的原模型进行超参数搜索或网络结构调优等优化方式，以输出满足用户需求的AI模型。然而，这些AI平台在进行AI模型优化时，每次优化只提供单一的优化功能，即仅从一个方面进行模型的优化。

发明内容

本申请提供了一种模型优化方法，可以对初始的AI模型进行多个维度的联合优化，从而得到综合空间内的优化模型，提高了模型性能。所述技术方案如下：

第一方面，提供了一种模型优化方法，所述方法包括：获取用户的原模型和搜索配置信息，所述搜索配置信息包括多个搜索项，不同搜索项表示对所述原模型进行优化信息搜索的不同搜索类别；根据所述搜索配置信息，对多个搜索算子进行编排，得到组合算子，每个被编排的搜索算子与一个搜索项对应，搜索算子表示执行对应的搜索项使用的算法；根据所述组合算子，对所述原模型进行优化，获得优化后的模型。

在本申请实施例中，可以同时获取包含有多个搜索项的搜索配置信息，进而根据该搜索配置信息对多个搜索项分别对应的搜索算子进行编排，得到组合算子。这样，就可以根据该组合算子，对该原模型同时进行多个搜索项对应的优化。也即，本申请实施例可以实现同时对原模型的多个维度的联合优化，从而得到综合空间内的优化模型，提高了模型的性能。

可选地，上述搜索配置信息中的多个搜索项可以包括超参搜索、网络架构搜索、数据增强搜索、损失函数搜索、优化器搜索、模型压缩策略搜索中的至少两种。

其中，超参搜索是指通过超参搜索算法在一定的搜索空间内搜索符合原模型的超参。超参也称为超参数，是AI模型(例如：神经网络模型)中一些无法通过模型训练得到的参数，例如：超参包括学习率、迭代次数等参数。网络架构搜索是指基于演化算法、强化学习、可微分网络等算法，在给定的搜索空间中，搜索满足用户要求的网络架构，网络架构表示AI模型的基本结构。数据增强搜索是指根据指定的数据集搜索符合用户要求的数据增强策略，进而通过该数据增强策略对该数据集中的样本进行处理，数据增强策略是用于对训练数据、测试数据或者推理数据进行预处理的算法。通过处理后的数据集中的样本对AI模型进行训练、测试或推理，可以使得AI模型性能更优。损失函数搜索是指在给定的搜索空间内搜索符合用户需求的损失函数，损失函数用于对原模型进行训练时的模型优化。优化器搜索是指在给定的搜索空间内搜索符合要求的优化器，后续，通过该优化器进行模型参数的学习，可以使得AI模型的性能更优。模型压缩策略搜索是指在给定的搜索空间内搜索用于进行模型压缩的策略，以实现对AI模型的压缩裁剪。