[发明专利]不均衡数据集的样本选择方法、装置、设备及存储介质

说明书

本申请实施例适用于模型数据处理技术领域，提供了一种不均衡数据集的样本选择方法、装置、设备及存储介质，该方法包括：获取不均衡数据集中具有人工标注类别的第一样本数据集；根据第一样本数据集进行模型训练，得到对不均衡数据集中属于小样本类别集的样本数据进行识别的准确率大于预设准确率的第一阶段模型；采用第一阶段模型对不均衡数据集中的未标注数据集进行识别，得到未标注数据集中每个样本数据的预测样本类别；根据预测样本类别，从未标注数据集中选择目标数量的样本数据，生成每种预测样本类别分别对应的样本数据的数量均衡的目标训练数据集。采用上述方法可以从不均衡数据集中选择数量均衡的每种样本类别的样本数据。

技术领域

本申请属于模型数据处理技术领域，尤其涉及一种不均衡数据集的样本选择方法、装置、设备及存储介质。

背景技术

目前，对于多类别的识别模型在进行训练的过程中，通常需要大量已标注类别的训练数据。并且，为了提升模型整体的识别效果，训练数据中每种类别的训练数据的数量通常比较均衡。

另外，为了降低对训练数据进行人工标注的成本，通常是先对少量的训练数据进行人工标注，然后使用少量已标注的训练数据训练识别模型。而后，使用该识别模型对其余训练数据进行初步分类，并将分类后的训练数据作为已标注的训练数据，对识别模型进行再次训练。

然而，上述方式通常适用于每种类别的训练数据的数量比较均衡的情况。在每种类别的训练数据的数量极不均衡时，采用上述方式选择的训练数据中每种类别的已标注的训练数据的数量并不均衡。若使用上述方法训练识别模型，则生成的识别模型的识别准确率低。

发明内容

本申请实施例提供了一种不均衡数据集的样本选择方法、装置、设备及存储介质，可以解决无法从不均衡数据集数量中，选择数量均衡的每种样本类别的样本数据问题。

第一方面，本申请实施例提供了一种不均衡数据集的样本选择方法，该方法包括：

获取不均衡数据集中具有人工标注类别的第一样本数据集；

根据第一样本数据集进行模型训练，得到第一阶段模型；第一阶段模型对不均衡数据集中属于小样本类别集的样本数据进行识别的准确率，大于预设准确率；

采用第一阶段模型对不均衡数据集中未具有人工标注类别的未标注数据集进行识别，得到未标注数据集中每个样本数据的预测样本类别；

根据预测样本类别，从未标注数据集中选择目标数量的样本数据，生成目标训练数据集；目标训练数据集中每种预测样本类别分别对应的样本数据的数量均衡。

第二方面，本申请实施例提供了一种不均衡数据集的样本选择装置，该装置包括：

获取模块，用于获取不均衡数据集中具有人工标注类别的第一样本数据集；

训练模块，用于根据第一样本数据集进行模型训练，得到第一阶段模型；第一阶段模型对不均衡数据集中属于小样本类别集的样本数据进行识别的准确率，大于预设准确率；

识别模块，用于采用第一阶段模型对不均衡数据集中未具有人工标注类别的未标注数据集进行识别，得到未标注数据集中每个样本数据的预测样本类别；

生成模块，用于根据预测样本类别，从未标注数据集中选择目标数量的样本数据，生成目标训练数据集；目标训练数据集中每种预测样本类别分别对应的样本数据的数量均衡。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面的方法。