[发明专利]基于支持向量机正则化路径的贝叶斯模型平均模型组合方法

说明书

技术领域

在本发明涉及支持向量机正则化路径上的模型组合，特别是一种基于贝叶斯模型平均的模型组合方法。

背景技术

支持向量机(Support Vector Machine，SVM)是Vapnik等人提出的一种基于统计学习理论的机器学习方法，它以最大化分类间隔构造最优分类超平面来提高分类器的泛化能力，较好地解决了非线性、高维数、局部极小点等问题。与传统的神经网络学习方法相比，SVM具有结构风险最小，可以逼近任意函数且保证全局最优，适用于小样本、非线性核高维建模的领域。目前，SVM已广泛应用于手写字识别、文本分类、语音识别等方面，并取得了良好的应用效果。

对于2-分类支持向量机，已知训练集：

其中，。

寻找上的一个实值函数以便用决策函数推断任意模式x相对应的y值即类别。

2-分类线性分类支持向量机简单模型如下：

，                             (1)

建立拉格朗日原函数：

,    (2)

令偏导等于零且KKT条件为：

，                    (3)

，                        (4)

，                       (5)

，                      (6)

，                                  (7)

，                                  (8)

，                                 (9)

，                  (10)

，                          (11)

由上述条件求解得决策函数。

而现有技术中，支持向量机贝叶斯解释

假设，其中是再生核希尔伯特空间。决策函数是下面优化问题的解：

               (12)

其中，称为正则化参数，为定义在RKHS上的范数，损失函数为“hinge loss” 的一种变化形式：，其中为“Heaviside”阶梯函数，确保当时函数值为0。

引入核函数，SVM的决策函数可表示为：

                   (13)

其中称为偏移量，为核函数，且为拉格朗日乘子。由于，代入到上述优化问题式，得到关于的优化问题：

                 (14)

其中。

在特征空间中决策函数可表示为：

                    (15)

和通过最小化下面优化问题求解：

                 (16)

上式中的第一项正比于在给定样本及后输出的概率的负对数，即

                (17)

为取遍所有可能值时的归一化常数。

第二项给出了和b的先验知识，该先验为高斯先验，即，，其中是b的先验概率的标准差。则，协方差。

因而，SVM的决策函数的先验是一个高斯过程，均值为，协方差函数为。

3.正则化路径算法

Hastie等在2004年的文章中提出了支持向量机的正则化路径算法，相应的2-分类支持向量机正则化模型如下：

          (18)

建立拉格朗日原函数:

，        (19)

各偏导等于零及KKT条件：

                         (20)

                            (21)

                            (22)

                          (23)

                            (24)

由上可知。当时，，；当，时，；当时，落于与之间。

记为属于类的训练点，记，即中训练点数目的总和。类似的可以定义和。所有的观察样本有下面三个状态：

(1)，E表示拐点，

(2)，L表示拐点的左边，

(3)，R表示拐点的右边。