[发明专利]分类模型的训练方法，装置和计算机可读存储介质

说明书

本公开涉及一种分类模型的训练方法，装置和计算机可读存储介质，涉及人工智能技术领域。本公开的方法包括：将用于训练的样本划分为多个子批，其中，每个子批包括一个或多个样本；将每个子批的样本输入分类模型，确定每个子批对应的分类误差相对于分类模型的初始化参数的梯度向量；根据每个子批对应的梯度向量，确定目标函数的值，其中，目标函数与分类模型的分类损失负相关；在目标函数的值未达到最大值的情况下，根据目标函数调整分类模型的初始化参数；直至目标函数的值达到最大值，将分类模型的初始化参数作为优化后的初始化参数，并对具有优化后的初始化参数的分类模型进行训练。

技术领域

本公开涉及人工智能技术领域，特别涉及一种分类模型的训练方法，装置和计算机可读存储介质。

背景技术

基于深度学习的分类算法近些年来发展迅速，已经逐渐被应用到了人们生活、工作、学习的各个行业，例如人脸识别、姿态分类、医学图像分析、无人驾驶的障碍检测、网页分类、音频分类等等。然而，由于深度分类模型参数量较多，在训练前通常需要对模型参数进行合适的初始化，才能通过梯度下降算法进行优化，获得收敛且稳定的分类模型。

然而，因为现实应用场景的不同，分类数据集的也不尽相同，对某个数据集合适的初始化参数在变换后的数据集上可能不再适合。因此，深度分类网络领域提出了基于学习的初始化的问题，即如何通过学习优化的方式快速、高效地寻找到最优的初始化参数。

相关方法中基于初始优化区域曲率来优化初始化参数，通过计算分类模型函数在初始参数处的曲率来评价初始化参数的好坏。曲率反映了随着优化的进行，参数梯度的变化程度。一般初始化参数的梯度在优化过程中变化越小，即曲率越小，对应着更稳定、更易训练的优化环境，即更好的初始化。

发明内容

发明人发现：相关方法中基于初始优化区域曲率来优化初始化参数，在计算时涉及到参数的二阶梯度，而在优化过程中还需要计算三阶梯度，这个过程非常消耗计算资源，并且无法在指定数据集的情况下高效地捕捉适用于该数据集的信息进行初始化参数的优化。此外，该方法没有考虑模型的分类误差，无法保证模型的分类准确性。

本公开所要解决的一个技术问题是：如何提高分类模型的初始化参数优化的效率，节省计算资源并提高分类准确率。

根据本公开的一些实施例，提供的一种分类模型的训练方法，包括：将用于训练的样本划分为多个子批，其中，每个子批包括一个或多个样本；将每个子批的样本输入分类模型，确定每个子批对应的分类误差相对于分类模型的初始化参数的梯度向量；根据每个子批对应的梯度向量，确定目标函数的值，其中，目标函数与分类模型的分类损失负相关；在目标函数的值未达到最大值的情况下，根据目标函数调整分类模型的初始化参数；直至目标函数的值达到最大值，将分类模型的初始化参数作为优化后的初始化参数，并对具有优化后的初始化参数的分类模型进行训练。

在一些实施例中，目标函数包括第一子函数和第二子函数中至少一个，根据每个子批对应的梯度向量，确定目标函数的值包括以下至少一项：根据每个子批对应的梯度向量，确定每个子批对应的梯度向量的模长，根据每个子批对应的梯度向量的模长确定第一子函数的值；根据每个子批对应的梯度向量，确定每两个子批对应的梯度向量的相似度，根据每两个子批对应的梯度向量的相似度确定第二子函数的值。

在一些实施例中，根据每个子批对应的梯度向量的模长确定第一子函数的值包括：根据每个子批对应的梯度向量的模长确定平均模长，作为第一子函数的值。

在一些实施例中，根据每个子批对应的梯度向量，确定每两个子批对应的梯度向量的相似度，根据每两个子批对应的梯度向量的相似度确定第二子函数的值包括：根据每个子批对应的梯度向量，确定每两个子批对应的梯度向量的余弦相似度；根据每两个子批对应的梯度向量的余弦相似度确定平均余弦相似度，作为第二子函数的值。

在一些实施例中，目标函数还包括每个子批对应的梯度向量的模长中的最大模长不超过预设值的条件。