[发明专利]SVM分类器的构造方法及装置

说明书

技术领域

本发明涉及机器学习和数理统计技术领域，特别涉及一种支持向量机(Support Vector Machine，SVM)分类器的构造方法及装置。

背景技术

传统的L2范数SVM只能实现分类的目的，在面对像高维小样本数据甚至超高维小样本数据时，这些数据中因为存在大量的冗余特征，利用传统的L2范数SVM进行分类预测准确率不高，无法在分类的同时实现特征选择。传统的L1范数SVM能够在实现分类的同时实现特征选择，但是L1范数SVM不具有特征选择的oracle性质和组效应性质，并且无法处理数据中存在高度共线性的情形，所谓oracle性质指的是特征选择效果具有特征选择一致性，即将与类标签最相关的特征选中的能力；所谓的组效应性质就是在进行特征分类的过程中，特征系数趋向于相等的数据可以被分在同一组中。

目前，还没有一种可以在保证进行准确的组特征选择的同时，又具备oracle性质和组效应性质的SVM分类器。

发明内容

本发明实施例提供了一种SVM分类器的构造方法，以达到构造一种可以在保证组特征选择准确性的同时，具备oracle性质和组效应性质的SVM分类器的目的，其中，该方法包括：

根据最小化最大凹度罚(Minimax Concave Penalty，MCP)罚函数和基于相关系数的罚函数，构造SVM分类器的目标函数；

在训练样本集上，对所述目标函数进行训练，得到所述目标函数中各个模型参数的取值；

根据得到的各个模型参数的取值构造SVM分类器。

本发明实施例还提供了一种SVM分类器的构造装置，以达到构造一种可以在保证组特征选择准确性的同时，具备oracle性质和组效应性质的SVM分类器的目的，其中，该装置包括：

目标函数构造模块，用于根据MCP罚函数和基于相关系数的罚函数，构造SVM分类器的目标函数；

训练模块，用于在训练样本集上，对所述目标函数进行训练，得到所述目标函数中各个模型参数的取值；

分类器构造模块，用于根据得到的各个模型参数的取值构造SVM分类器。

在本发明实施例中，利用MCP罚函数和基于相关系数的罚函数来构造SVM分类器的目标函数，因为MCP罚函数具备oracle性质，基于相关系数的罚函数构造的SVM分类器可以实现组效应性质，因此，通过上述方式最终构造的SVM分类器可以在保证组特征选择准确性的同时，具备oracle性质和组效应性质，可以实现更为有效的特征选择和类标签分类。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是本发明实施例的SVM分类器的构造方法的方法流程图；

图2是本发明实施例的十折交叉验证方法的方法流程图；

图3是本发明实施的L1范数罚的示意图；

图4是本发明实施例的MCP罚的示意图；

图5是本发明实施例的L1范数罚的导函数的示意图；

图6是本发明实施例的MCP罚的导函数示意图；

图7是本发明实施例的SVM分类器的构造装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。