[发明专利]基于高斯混合模型的不平衡数据集分类融合方法

说明书

本发明公开了基于高斯混合模型的不平衡数据集分类融合方法，包括如下步骤：对数据集进行预处理；通过基于混合高斯模型(GMM)的采样模块对预处理后的数据集进行不平衡数据采样，调整不平衡比例；根据不平衡数据采样结果，利用基于变异系数加权的多分类器融合模型，进行分类和预测。本发明采用的熵权法能够更好的控制维度；使用GMM模型生成少数类样本，有利于解决少数类样本分区分散的问题；使用基于变异系数加权的综合指标，有利于充分利用训练集召回率、精确率和F1分数指标，同时基于综合指标加权的软投票方式融合多分类模型，综合考虑不同分类器对不同种类故障信息分类准确率不一致的结果，体现出不同分类器的优势，能够提高分类与预测准确率。

技术领域

本发明属于机器学习中不平衡数据集采样和分类预测领域，具体涉及一种基于高斯混合模型的不平衡数据集分类融合方法。

背景技术

随着机器学习的飞速发展，不平衡数据集分类问题受到了广泛的关注，已经成为机器学习领域研究的热门课题之一。现有的分类算法如KNN、决策树、支持向量机和朴素贝叶斯分类等在处理不平衡数据集时，往往更倾向于多数类样本，导致分类性能下降，并可能产生严重的后果。如在欺诈检测、医学诊断、网络入侵等领域，少数类样本的检出具有十分重要的意义。

不平衡数据集分类的改进思想一般有两种：第一种使用过采样或欠采样的方法调整数据集比例；第二种为设计代价敏感函数、使用集成学习等改进分类算法。两种方式分别在数据和算法层面更改，在数据层面经典算法有随机采样、SMOTE、ADASYN、NearMiss等；算法层面有代价敏感学习、集成学习和单分类学习等。近年来，大批的学者对不平衡数据集分类算法改进做出了研究：Han等人提出Borderline-Smote采样算法，对边界处的少数类样本进行过采样，避免冗余数据的产生。Lin等人提出了一种基于聚类的下采样方法，通过对多数类样本聚类，选取聚类中心点为下采样点，但仅适用于不平衡比例较低的数据集。

发明内容

发明目的：为了克服现有技术中存在的不足，提供一种基于高斯混合模型的不平衡数据集分类融合方法，能够有效提升分类与预测准确率，可应用于欺诈检测、医学诊断、网络入侵等领域。

技术方案：为实现上述目的，本发明提供一种基于高斯混合模型的不平衡数据集分类融合方法，包括如下步骤：

S1：对数据集进行预处理；

S2：通过基于混合高斯模型(GMM)的采样模块对预处理后的数据集进行不平衡数据采样，调整不平衡比例；

S3：根据步骤S2的不平衡数据采样结果，利用基于变异系数加权的多分类器融合模型，进行分类和预测。

进一步地，所述步骤S1中预处理的流程包括如下步骤：

A1：对于缺失数据，如果为离散型数据缺失，删除该数据；对连续性数据，使用相邻数据替代；

A2：对步骤A1得到的数据进行标准化处理；

A3：通过熵权法计算数据的特征权重，根据特征权重选择出数据特征。

进一步地，所述步骤A2中标准化处理的公式如下：

其中，表示第i类样本归一化后的数据，x_i为原始数据，x_max、x_min为该类样本最大值与最小值，标准化进行无量纲处理，可以降低属性值对基于距离的分类器的影响。

进一步地，所述步骤A3中数据的特征权重的计算方法具体为：

B1：计算样本在特征下的比重p_ij：