[发明专利]采样优化方法、装置、电子设备及存储介质

说明书

本公开提供了一种采样优化方法、装置、设备及存储介质，该采样优化方法包括：获取训练样本数据集，所述训练样本数据集包括具有标签的图像样本；对所述训练样本数据集进行初始采样，基于采样结果对目标模型进行训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征；基于所述每个图像样本的特征构建概率函数；基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率。本申请实施例，可以对不同场景的目标模型的训练样本的采样概率进行优化，进而可以提升模型的训练效率及模型性能。

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种采样优化方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展，各类深度学习模型逐渐开始应用。在深度学习模型的训练过程中，训练样本的采样概率，是提升深度学习模型的训练效率和模型性能的重要手段。如，重要性采样通过增大损失函数大的样本的采样概率，提升了训练速度。

然而，现有的采样方法(如重要性采样)主要用于简单样本比较多的场景，因此，对不同场景的深度学习模型的训练任务，如何进行训练样本的采样概率的优化，是亟待解决的重要问题。

发明内容

本公开实施例至少提供一种采样优化方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供了一种采样优化方法，包括：

获取训练样本数据集，所述训练样本数据集包括具有标签的图像样本；

对所述训练样本数据集进行初始采样，基于采样结果对目标模型进行训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征；

基于所述每个图像样本的特征构建概率函数；

基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率。

本公开实施例中，首先对目标模型进行预训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征，然后基于所述每个图像样本的特征构建概率函数，再基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率，如此，可以实现对不同场景的目标模型的训练样本的采样概率进行优化，进而可以提升模型的训练效率及模型性能。

根据第一方面，在一种可能的实施方式中，所述基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率，包括：

通过贝叶斯优化对所述概率函数进行超参数随机搜索，确定初优化超参数，并基于所述初优化超参数得到所述每个图像样本的初优化的采样概率；

基于所述每个图像样本的初优化的采样概率，对所述训练样本数据集进行采样，基于采样结果对所述预训练的目标模型进行微训练，得到微训练结果；所述微训练是指训练迭代次数少于预设的总训练次数的训练；

基于所述微训练结果以及所述总的训练次数，确定所述每个图像样本的目标采样概率。

本实施方式中，通过将贝叶斯优化将微训练结合，大幅度地缩减了搜索采样概率所消耗的计算资源，可以提升采样概率优化的效率。

根据第一方面，在一种可能的实施方式中，所述基于所述微训练结果以及所述总的训练次数，确定所述每个图像样本的目标采样概率，包括：

基于所述微训练结果，通过贝叶斯优化对所述概率函数进行超参数搜索，得到次优化超参数，并基于所述次优化参数得到所述每个图像样本的次优化的采样概率；

基于所述每个图像样本的次优化的采样概率，对所述训练样本数据集进行采样，基于采样结果对所述预训练的目标模型进行所述微训练，得到微训练结果；