[发明专利]一种新的特征选择与参数优化方法

摘要

本发明公开了一种新的特征选择与参数优化方法，属于机器学习、深度学习、数据挖掘技术领域，包括以下步骤：参数初始化；数据预处理；特征子集选取；适应度函数与评估；终止条件。本发明使用灰狼优化算法来进行支持向量机的特征选择和参数优化，同时融合了支持向量机的渐进性，从而将灰狼优化算法的搜索导向到超参数空间的好区中的最佳泛化误差直线上。本质是将支持向量机的性能特征融入算法，使其不仅具备灰狼优化算法的搜索功能，而且具有融合渐近性灰狼个体的搜索功能，因而新算法具备更强的搜索力度，分类准确率得到显著提高。

主权项

1.一种新的特征选择与参数优化方法，其特征在于，包括以下步骤：(1)参数初始化首先初始化灰狼优化算法的基本参数，包括灰狼个数，每个个体的维度，初始位置以及迭代次数等；由于在提出的优化SVM模型中需要寻找最优的(c，σ)组合和最优的特征子集，所以搜索空间是2+n维的并且灰狼的每个位置就是一个(c，σ)与特征子集组合；根据初始化的灰狼种群，随机选择三个灰狼个体作为X_α，X_β和X_δ；(2)数据预处理采用最小‑最大规范化，即对原始数据进行线性变换，使每个特征可以缩放到范围[0，1]，转换公式如下：其中x为样本属性的原始值，min为样本数据属性的最小值，max为样本数据属性的最大值，x^*是变换后的值；(3)特征子集选取根据最优灰狼个体X_α的前n个值进行特征提取，保留相关特征，丢弃不相关的特征，用训练特征子集和测试特征子集分别进行SVM训练和测试训练好的模型的泛化能力；(4)适应度函数与评估提出了新的适应度函数，如以下公式，此适应度函数的最优值可以获得最高的准确率，最小的特征子集和最少的支持向量；其中是SVM_accuracy是分类准确率，W_A是其权重；W_F是特征数量的权重，F_i是第i个特征，被选中取1，未选中取0，C_i是第i个特征的权重，n_f是数据集的总特征数；V_i表示第i个样本，若是支持向量则取值为1，否则取0，l是总的样本数，W_V是支持向量的权重，一般取值0.05；由于每个灰狼个体表示(C，σ)组合和选取的特征子集，当用测试集获取了准确率后，每个灰狼个体就可用以上公式进行评估，从而选择出最优的灰狼个体X_α，X_β和X_δ；(5)终止条件当满足终止条件时，获得最优参数组合和最优的特征子集，否则继续根据公式进行下一代的更新，在本发明提出的模型中，当最大迭代次数或者最优解获得时，终止。