[发明专利]一种数据分类方法、装置及设备

说明书

本申请实施例公开了一种数据分类方法、装置及设备，应用于计算机技术领域，用于提高整体数据集的分类效果。该方法包括：首先获取待分类的目标数据；其中，目标数据包含不平衡数据，然后，利用合成少数类过采样技术SMOTE对目标数据进行预处理，得到预处理后的目标数据，接着，利用预先构建的数据分类模型，对预处理后的目标数据进行分类，得到分类结果。可见，本申请实施例是先利用SMOTE技术对包含不平衡数据的目标数据进行预处理，再利用预先构建的数据分类模型对处理后的目标数据进行分类，从而可以避免分类模型的过度拟合，减小分类误差，进而提高整体数据集的分类效果。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据分类方法、装置及设备。

背景技术

众所周知，数据本身是无意义的，通过对数据的处理及挖掘，从数据中获取信息才能给业务带来价值。因此，掌握准确高效的数据处理方法，挖掘数据背后的价值，在数据分析挖掘领域是非常重要的。

但是在很多常见的大数据应用场景中，会出现一种数据不平衡的问题。即在海量的数据中，存在极少好的或坏的样本。如：医疗领域、信用风险领域等。对于不平衡数据的研究，如果仅利用较少的样本去挖掘整个数据群体的特征或是对数据群体进行分类。得出的分类结果往往不够精准。因此，如何鉴别这些样本极少数的群体，对他们进行准确分类，是目前亟待解决的问题。

发明内容

有鉴于此，本申请实施例的主要目的在于提供一种数据分类方法、装置及设备，能够提高整体数据集的分类效果。

为解决上述问题，本申请实施例提供的技术方案如下：

第一方面，本申请实施例提供了一种数据分类方法，包括：

获取待分类的目标数据；所述目标数据包含不平衡数据；

利用合成少数类过采样技术SMOTE对所述目标数据进行预处理，得到预处理后的目标数据；

利用预先构建的数据分类模型，对所述预处理后的目标数据进行分类，得到分类结果。

可选的，构建所述数据分类模型，包括：

获取包含不平衡数据的训练数据；

利用SMOTE技术对所述训练数据进行预处理，得到预处理后的训练数据；

根据所述预处理后的训练数据以及所述训练数据对应的分类标签对初始数据分类模型进行训练，生成所述数据分类模型。

可选的，所述初始数据分类模型为Bagging集成学习框架。

可选的，所述方法还包括：

获取包含不平衡数据的验证数据；

利用SMOTE技术对所述验证数据进行预处理，得到预处理后的验证数据；

将所述预处理后的验证数据输入所述数据分类模型，获得所述验证数据的分类结果；

当所述验证数据的分类结果与所述验证数据对应的分类标记结果不一致时，将所述验证数据重新作为所述训练数据，对所述数据分类模型进行更新。

可选的，所述方法还包括：

通过评价指标对所述数据分类模型的分类结果进行评估，得到评估结果；

根据所述评估结果对所述数据分类模型的参数进行调整，以获得调整后的数据分类模型。

第二方面，本申请提供一种数据分类装置，包括：

第一获取单元，用于获取待分类的目标数据；所述目标数据包含不平衡数据；

第一处理单元，用于利用合成少数类过采样技术SMOTE对所述目标数据进行预处理，得到预处理后的目标数据；