[发明专利]一种异常样本确定方法、装置、设备及介质

说明书

本发明实施例提供了一种异常样本确定方法、装置、设备及介质，通过确定数值最大的第一变异系数对应的第一特征，以及第一特征的最大特征权重对应的第一模型的第一训练样本，和第一特征的最小特征权重对应的第二模型的第二训练样本，基于该第一训练样本和第二训练样本，得到第一目标训练样本和第二目标训练样本，并进行模型训练，根据至少一个模型和该第一目标模型，计算该第一特征的第二变异系数，并根据至少一个模型模型和该第二目标模型，计算该第一特征的第三变异系数，若该第二变异系数和第三变异系数均小于该第一变异系数，则确定不存在异常样本，实现对样本数据集中是否存在异常样本的判断。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种异常样本确定方法、装置、设备及介质。

背景技术

随着科学技术的发展，模型被应用于越来越多的技术领域。具体的，当人们需要实现某一功能时，会预先准备大量的样本数据集，然后从样本数据集选取多组样本数据，基于选取的每组样本数据，得到对应的每个训练完成的模型。为了从训练完成的多个模型中选取性能最优的模型投入到生产中，在模型训练完成后会采用黑盒技术对模型进行测试，将大量的数据输入到训练完成的模型中，针对模型输出的预测结果，选取预测结果最准确的模型为最优模型。

但是，在模型训练使用的样本数据集中，可能存在数据异常的异常样本，在可能的情况下该数据异常的异常样本可能会导致训练得到的模型预测不准，并且会影响最优模型的选择，但是在现有技术中，并没有如何判断样本数据集中是否存在异常样本的方法。

发明内容

本发明实施例提供了一种异常样本确定方法、装置、设备及介质，实现了对样本数据集中异常样本的确定。

本发明实施例提供了一种异常样本确定方法，所述方法包括：

针对训练完成的至少一个模型，根据每个特征在每个模型中对应的特征权重，计算每个特征的变异系数，识别数值最大的第一变异系数对应的第一特征；

识别所述第一特征的最大特征权重对应的第一模型，以及最小特征权重对应的第二模型；

识别对所述第一模型进行训练的第一训练样本和对所述第二模型进行训练的第二训练样本中不同的第一子训练样本，以及所述第一训练样本中与所述第二训练样本相同的第二子训练样本，将所述第一子训练样本分为两份，并分别于与所述第二子训练样本组合，得到第一目标训练样本和第二目标训练样本，并分别基于所述第一目标训练样本和所述第二目标训练样本进行模型训练，得到第一目标模型和第二目标模型；

根据所述至少一个模型和所述第一目标模型，计算所述第一特征的第二变异系数，并根据所述至少一个模型和所述第二目标模型，计算所述第一特征的第三变异系数，若所述第二变异系数和第三变异系数均小于所述第一变异系数，则确定不存在异常样本。

本发明实施例还提供了一种异常样本确定装置，所述装置包括：

计算模块，用于针对训练完成的至少一个模型，根据每个特征在每个模型中对应的特征权重，计算每个特征的变异系数，识别数值最大的第一变异系数对应的第一特征；

识别模块，用于识别所述第一特征的最大特征权重对应的第一模型，以及最小特征权重对应的第二模型；

异常样本确定模块，用于识别对所述第一模型进行训练的第一训练样本和对所述第二模型进行训练的第二训练样本中不同的第一子训练样本，以及所述第一训练样本中与所述第二训练样本相同的第二子训练样本，将所述第一子训练样本分为两份，并分别于与所述第二子训练样本组合，得到第一目标训练样本和第二目标训练样本，并分别基于所述第一目标训练样本和所述第二目标训练样本进行模型训练，得到第一目标模型和第二目标模型；根据所述至少一个模型和所述第一目标模型，计算所述第一特征的第二变异系数，并根据所述至少一个模型和所述第二目标模型，计算所述第一特征的第三变异系数，若所述第二变异系数和第三变异系数均小于所述第一变异系数，则确定不存在异常样本。