[发明专利]一种数据采样方法、装置、电子设备及存储介质

说明书

本公开关于一种数据采样方法、装置、电子设备及存储介质，包括：获取原始数据，其中，每个原始数据包括一个指标值及至少一个特征值，原始数据分为正样本及负样本，正样本的指标值大于预设阈值，负样本的指标值不大于预设阈值；根据负样本的指标值，将负样本分为多个群组；计算每个群组中负样本的特征值与正样本的特征值之间的差异值；根据差异值，将群组分为困难群组及非困难群组；对非困难群组进行分层采样，得到非困难样本，并将正样本、困难群组中的负样本及非困难样本作为原始数据的采样结果。这样，在采样过程中，不需要对全数量的原始数据进行处理，因此需要消耗的计算资源较少，耗时较少。

技术领域

本公开涉及数据处理领域，尤其涉及一种数据采样方法、装置、电子设备及存储介质。

背景技术

在一些场景中，经常需要按照某种规则，对原始数据进行采样，得到正样本和负样本，然后，利用正样本和负样本进行模型训练及验证，这样，训练得到的模型可以用于对待分析数据的指标数值二分类，即预测待分析数据的指标数值是否能达到某个阈值，比如，预测某个视频是否能达到预定的播放量，等等。

一些情况下，由于原始数据构成的复杂性，正负样本之间没有清晰明了的界限，在正负样本附近有很多不好分辨的“灰色地带”的数据，这些数据会导致模型的有偏学习，使得模型在少量样本上预测效果的失效。

现有技术中，可以采用多种算法，对原始数据进行下采样，以避免模型的有偏学习，比如，可以采用数据级的采样方法，基于距离的N近邻算法对原始数据进行下采样；或者，采用基于代价敏感学习的方法，为正负样本提供更高的权重，使得最终代价的数值计算朝向一个特定的方向偏置；另外，还可以采用集成学习算法的方法，将一种数据级或算法级方法与集成学习相结合，以获得强大的集成分类器，等等。

但是，这些算法都需要对全数量的原始数据进行处理，而在实际应用场景下，由于原始数据的大数据量，将导致这些算法的计算成本太高，耗时长，对计算资源的消耗较大。

发明内容

本公开提供一种数据采样方法、装置、电子设备及存储介质，以至少解决相关技术中计算成本太高，耗时长，对计算资源的消耗较大的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据采样方法，包括：

获取原始数据，其中，每个原始数据包括一个指标值及至少一个特征值，所述原始数据分为正样本及负样本，所述正样本的指标值大于预设阈值，所述负样本的指标值不大于所述预设阈值；

根据所述负样本的指标值，将所述负样本分为多个群组；

计算每个群组中负样本的特征值与所述正样本的特征值之间的差异值；

根据所述差异值，将所述群组分为困难群组及非困难群组；

对所述非困难群组进行分层采样，得到非困难样本，并将所述正样本、所述困难群组中的负样本及所述非困难样本作为所述原始数据的采样结果。

可选的，所述根据所述负样本的指标值，将所述负样本分为多个群组，包括：

根据所述负样本的指标值及预设分组规则，将所述负样本分为多个群组；或，

根据所述负样本的指标值，对所述负样本进行等值分段，将所述负样本分为预设数量个群组。

可选的，所述计算每个群组中负样本的特征值与所述正样本的特征值之间的差异值，包括：

计算所述任一群组中各个负样本的任一特征值的第一统计参数；

计算所述正样本的所述任一特征值的第二统计参数；

计算所述第一统计参数与所述第二统计参数之间的欧氏距离，得到所述任一群组的所述任一特征值与所述正样本的所述任一特征值之间的目标差异值；