[发明专利]一种新的特征选择与参数优化方法

说明书

本发明公开了一种新的特征选择与参数优化方法，属于机器学习、深度学习、数据挖掘技术领域，包括以下步骤：参数初始化；数据预处理；特征子集选取；适应度函数与评估；终止条件。本发明使用灰狼优化算法来进行支持向量机的特征选择和参数优化，同时融合了支持向量机的渐进性，从而将灰狼优化算法的搜索导向到超参数空间的好区中的最佳泛化误差直线上。本质是将支持向量机的性能特征融入算法，使其不仅具备灰狼优化算法的搜索功能，而且具有融合渐近性灰狼个体的搜索功能，因而新算法具备更强的搜索力度，分类准确率得到显著提高。

技术领域

本发明属于机器学习、深度学习、数据挖掘技术领域，涉及一种新的特征选择与参数优化方法，具体地说，涉及一种支持向量机渐近性融合灰狼优化算法新的特征选择与参数优化方法。

背景技术

支持向量机(SVM)是一种被广泛使用的机器学习分类与回归算法，是由Vapnik在20世纪的最后十年提出。SVM已被用于许多应用，例如生物识别，生物信息学和化学信息学。在SVM分类中，训练数据用于构建分类模型。再执行分类器对未知样本进行分类。当使用SVM时有两个问题需要解决：一是怎样选择最优的特征子集，二是如何选择最优的参数。特征子集与SVM的惩罚参数C和内核参数对SVM的性能有重要影响。数据集中的有些特征是冗余和不相关的，丢弃某些无用的特征可以提高计算效率；惩罚参数可以权衡最小化训练误差和最大分类间隔。而且内核参数还定义了输入特征空间到一个高维特征空间的非线性映射。同时特征子集的选择将会影响SVM参数的选择，反之亦然。因此，获得最优特征子集和SVM参数必须同时进行。

群智能算法在解决优化问题方面具有强大的竞争力,灰狼优化(GWO)算法是Mirjalili在2014年提出的一种新型群智能优化算法。GWO具有算法结构简单、需调参数少、收敛速度快等优点，更重要的是此算法表现出了非常强的探索与利用能力。许多研究者已经把此算法应用在很多优化问题上。像训练多层传感器、经济调度指派、车间调度、约束优化等。

有许多研究通过经验尝试有限数量的值来选择SVM参数以获取最小的误分类率。此过程需要在搜索空间上进行详尽搜索才能找到可行的解决方案，这是SVM的一大挑战。Friendrichs等人使用网格搜索SVM最佳参数的参数空间。在此解决方案中，参数在参数空间内以固定的步长变化，使用不同的性能度量来评估每个参数组合。该参数优化解决方案适用于极少数参数的调整，而且复杂耗时。于是出现了使用启发式进化算法搜索SVM参数的最佳值来构建具有高预测精度和稳定性的分类模型。在以往的研究中，很多工作都是围绕特征子集的选择或者SVM参数的优化中的某一方面来进行的，Huang等利用GA(遗传算法)对SVM参数进行优化，并依据精确率与权重惩罚因子提出了一种新的适应度评估函数，吴等人提出了一种混合遗传算法(GA)用于SVM参数优化以预测最大值电力日负荷。Zhang等人用ACO搜索最优SVM参数来优化支持向量机，提升了性能且耗时少。Chen等人使用PSO优化SVM参数，而且为了降低运算复杂度和提高搜索速度，采用了类内平均距离与类外中心距离之差作为适应度函数；Subasi使用PSO搜索SVM参数应用于EMG信号中神经肌肉疾病的诊断。Alaa等人使用蝙蝠算法来优化SVM参数并且验证了RBF核函数要比多项式函数具有更好的分类性能。现有技术中很多也都采用了相关的启发式进化算法来优化SVM参数。

有的现有技术的研究主要集中的特征子集的选择上，而没有考虑SVM中参数的优化，近年来的研究趋势是在选择特征的同时优化参数来提高准确率，Huang和Wang等[13]首先使用遗传算法进行特征选择与参数优化，相比网格优化取得了更高的准确率与更小的特征子集，随后Lin等利用PSO代替GA取得了更有竞争力的实验结果，有的现有技术提出了MVO+SVM优化采用了两种体系结构来比较多分类任务，有的现有技术分别利用蚱蜢优化算法、蜂群优化算法、改进的鱼群优化算法和改进的烟花算法来同时进行参数优化与特征选择。

但上述现有技术均未考虑支持向量机的渐近行为，只有部分现有技术中考虑了支持向量机的渐近行为，采用网格优化与遗传算法，均提高了分类准确率，同时减少了处理时间。

发明内容