[发明专利]基于最小二乘支持向量机技术的偏向性分类及参数寻优方法

摘要

本发明提供了一种基于最小二乘支持向量机技术的偏向性分类器和参数寻优方法，采用最小二乘支持向量机作为分类器推广能力好且适用于实时性要求较高的场合；改进了虚拟少数类过采样算法，去除了孤立样本的影响，突出边界样本的重要性，使得分类具有一定的偏向性，即瑕疵产品被误分为合格产品的概率降低；在最小二乘支持向量机参数寻优方面，先采用耦合模拟退火算法进行参数初步寻优，再此基础上使用网格算法进行精细搜索，不仅使得在训练最小二乘支持向量机模型时参数寻优时间缩短，而且分类准确度更高，提高了分类性能。

主权项

一种基于最小二乘支持向量机技术的偏向性分类及参数寻优方法，适用于实时性要求较高场合的分类器，其特征在于，包括以下步骤：(1)：所述步骤(1)中，输入为包含有合格样本和瑕疵样本的原训练数据，采用K近邻算法计算每个样本xi的5个最近邻，如果5个最近邻的类别均与xi的类别不同，则删去xi，经此处理，去除了原始训练样本数据中的孤立样本，并将结果输送到步骤(2)虚拟少数类过采样算法(SMOTE)中；(2)：所述步骤(2)中，对每个瑕疵样本计算其5个最近邻，倘若其中有三个近邻属于合格样本，则判定该瑕疵样本为边界样本；对边界样本进行过采样，即在边界样本与其近邻的三个合格样本之间人工合成新的瑕疵样本，并加入到训练样本数据中，作为步骤(3)中最小二乘支持向量机训练时的输入数据；(3)：所述步骤(3)中，采用耦合模拟退火算法对最小二乘支持向量机核函数参数和惩罚参数组合进行初步寻优，采用K折交叉验证每一组参数解对应的误分率，取误分率最小的那组参数组合作为初步最优解，进行两次退火获得初步最优参数组合[sig，gam]；(4)：所述步骤(4)中，对获得初步最优参数组合[sig，gam]，在sig和gam的邻域以步长0.2进行精细搜索，其中两个参数的寻优范围分别为：sig∈(exp{log(sig)‑1.5}，exp{log(sig)+1.5})gam∈(exp{log(gam)‑2}，exp{log(gam)+2})采用K折交叉验证每一组参数解对应的误分率，取误分率最低对应的那组参数组合作为最优参数；(5)：所述步骤(5)中，对(3)、(4)所得结果进行比较，取较低误分率对应的那组参数作为最终的最优参数组合；如果相同的最低误分率对应多组参数，则取gam最低的那组参数做为最优参数，避免模型过学习。