[发明专利]一种多核支持向量机分类方法

说明书

所属技术领域

本发明涉及人工智能领域，特别是数据挖掘技术，具体涉及一种多核支持向量机分类方法。

背景技术

支持向量机作为一种有效的数据分析手段已经被广泛地应用。当数据分析任务比较简单，使用单个核函数的传统支持向量机能够在给定参数，单一稳定数据来源的数据集上有效地分类数据，求解问题。但在面临更复杂的异构数据情况下，传统的支持向量机由于只使用一个核函数，无法很好地在同一特征空间，同一参数下映射模型的所有特点，因此不能有效地训练一个决策函数，或者会得到一个具有过泛化性的决策函数，这样的决策函数会导致不准确地分类。

专利申请号为200510111501，专利申请名称为“用支持向量机多类分类器搜索特征点新位置的方法”，提出了一种用于图像处理领域，支持向量机多类分类器搜索特征点新位置的方法。该方法建立ASM模型并初始化ASM模型从而得到模型的初始位置；为人脸上的每个特征点生成对应的多类训练样本以训练支持向量机多类分类器；对于每一个特征点，用其对应的训练样本训练支持向量机多类分类器；用模型的初始位置作为ASM搜索的起始位置，并使用支持向量机多类分类器进行特征点定位。该方法不同于本发明，它仅是使用了基于支持向量机多类分类器并将其应用于图像领域中的搜索特征点新位置，没有使用多个核函数。

专利申请号为00808062，专利申请名称为“使用多个支持向量机从多个数据组中提升知识发现”，提出了在多个数据组中使用多个支持向量机。该方法强调多个支持向量机的使用。本发明与该方法的不同点：在本发明中，不是使用多个支持向量机，而是将多个核函数引入支持向量机中，提升处理异构数据的能力。

专利申请号为02103795，专利申请名称为“基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法”，提出了在进行分级聚类分析生成聚类树并调整的基础上，采用基于聚类树的支持向量机(CTSVM)方法进行舌体区域像素识别。它采用了一种基于聚类树的支持向量机，与本发明是两种不同的应用支持向量机方法，并且应用的领域也不同。

在采用多个核函数的支持向量机分类方法中，Lanckriet等人在2004年提出了一种改进的类SMO算法来提高求解多核学习问题的效率。此算法将二次约束的二次规划问题转化其对偶问题，并完成从非平滑的凸优化问题向平滑的凸优化问题转换。本发明与它不同之处在于，本发明将多核学习问题转化为一个半无限线性规划问题。

Sonnenburg等人在2006年采用将多核学习问题转化为一个半无限线性规划问题来求解。此算法利用现有解决线性规划问题的工具箱和一个标准的支持向量机完成对半无限线性规划问题的求解，但它需要双层循环分别完成一个非线性规划和一个线性规划问题求解。本发明的求解方法与此方法的求解方法不同，本发明用一种全局收敛的方法来求解半无限线性规划问题。另外，此方法相对于本发明，它本身的时空复杂度较高，需要消耗大量的计算资源。

发明内容

鉴于上述分析，本发明提出一种多核支持向量机分类方法。它将多核支持向量机转化为半无限线性规划(Semi-infinite Linear Programming，SILP)问题求解，并保证其具有全局收敛的特性。

本发明包括四个部分：数据预处理部分(Data Pretreatment Part，DPP)、核函数选择部分(Kernel Selection Part，KSP)、支持向量机实现部分(SupportVector Machine Implement Part，SVMIP)、人机交互部分(Human-computerInteraction Part，HIP)。其中DPP由数据规范化模块组成，负责各个异构数据源中数据的规范化处理。KSP由高斯核函数(Gaussian Kernel)模块、谱核函数(Spectrum Kernel)模块、加权度函数(Weighted Degree Kernel)模块组成，负责本发明中多个核函数的选择。SVMIP由SILP求解模块、条件检测模块、参数更新模块、目标函数更新模块组成，它负责对数据源中的数据进行分类，将多核支持向量机采用SILP方法求解，通过条件检测、参数更新、目标函数更新，从而划分异构数据源中的数据类别，是本发明的核心。HIP由命令交互模块、图形交互模块组成，负责用户和计算机的交互，将分类结果返回给用户。图1给出了一种多核支持向量机分类方法的体系结构。

本发明的工作流程见图2。

具体步骤表达如下：