[发明专利]训练分类模型的方法和装置

说明书

本说明书实施例提供了一种训练分类模型的方法和装置。根据该实施例的方法，首先获取训练样本以及对各训练样本标注的类别标签，所述训练样本包括噪声样本；然后利用所述训练样本训练分类模型；其中在训练所述分类模型的过程中采用改进的交叉熵损失函数，所述改进的交叉熵损失函数用以降低对所述噪声样本的学习权重。

技术领域

本说明书一个或多个实施例涉及计算机应用技术领域，尤其涉及机器学习技术领域中的训练分类模型的方法和装置。

背景技术

分类模型是机器学习技术领域中的重要模型，重要解决的是对于给定数据输出其所属分类的识别结果。在二分类任务中输出的预测结果是两类，在多分类任务中输出的预测结果是多于两类。其中，如何采用合适的训练方法以提高分类模型的准确率成为目前致力解决的问题。

发明内容

本说明书一个或多个实施例描述了一种训练分类模型的方法和装置，以便于提高分类模型的准确率。

根据第一方面，提供了一种训练分类模型的方法，包括：

获取训练样本以及对各训练样本标注的类别标签，所述训练样本包括噪声样本；

利用所述训练样本训练分类模型；

其中在训练所述分类模型的过程中采用改进的交叉熵损失函数，所述改进的交叉熵损失函数用以降低对所述噪声样本的学习权重。

在一个实施例中，所述改进的交叉熵损失函数中对训练样本的学习权重由该训练样本在所有类别上的概率最高值确定，所述学习权重与所述概率最高值负相关。

在另一个实施例中，所述改进的交叉熵损失函数由训练样本被标注的类别标签、类别权重、对训练样本的学习权重以及所述分类模型输出的该训练样本属于各类别的概率确定。

在一个实施例中，所述改进的交叉熵损失函数采用改进的focal loss，采用以下方式确定：

其中，L_focal为改进的focal loss，所述y_i为对训练样本标注的是否属于第i个类别的标签，α_t为预设的类别权重，n为类别的总数量，p_i为分类模型针对训练样本输出的属于第i个类别的概率，γ为超参；在y_i＝1的情况下p_i,t＝p_i，否则p_i,t＝1-p_i。

在另一个实施例中，在训练所述分类模型的过程中，利用所述改进的交叉熵损失函数的值进行反向传播，更新所述分类模型的模型参数。

根据第二方面，提供了一种训练分类模型的装置，包括：

样本获取单元，被配置为获取训练样本以及对各训练样本标注的类别标签，所述训练样本包括噪声样本；

模型训练单元，被配置为利用所述训练样本训练分类模型；其中在训练所述分类模型的过程中采用改进的交叉熵损失函数，所述改进的交叉熵损失函数用以降低对所述噪声样本的学习权重。

在一个实施例中，所述改进的focal loss中对训练样本的学习权重由该训练样本在所有类别上的概率最高值确定，所述学习权重与所述概率最高值负相关。

在另一个实施例中，所述改进的交叉熵损失函数由训练样本被标注的类别标签、类别权重、对训练样本的学习权重以及所述分类模型输出的该训练样本属于各类别的概率确定。

在一个实施例中，所述改进的交叉熵损失函数采用改进的focal loss，采用以下方式确定：