[发明专利]一种基于Spark框架的支持向量机训练方法

权利要求书

1.一种基于Spark框架的支持向量机训练方法，其特征在于，包括：

S1，获取训练样本集，将所述训练样本集中的所有样本向量分布式储存在Spark框架的数据节点中；

S2，从所述训练样本集中抽取违反KKT条件最大的样本向量V₂，同时选取与样本向量V₂的球心距相差最大的样本向量V₁；

S3，对所述样本向量V₁和V₂进行迭代优化计算，获得更新后的样本向量V₁^new和V₂^new；

S4，将所述更新后的样本向量V₁^new和V₂^new广播到所述Spark的数据节点中，在每个数据节点中计算所述样本向量V₁和V₂产生的差分，根据所述每个数据节点中计算的差分，计算获得更新后的球心a^new；

S5，根据所述更新后的球心a^new，更新所述Spark的数据节点中各个样本向量的球心距，同时更新球体半径R。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1还包括：向每个所述数据节点读入对应的该数据节点中所述训练样本中的样本向量，对每一个所述样本向量生成一个唯一数据标识。

3.根据权利要求2所述的方法，其特征在于，所述唯一数据标识由所述数据节点的分片区号和数据节点本地的时间戳组合而成。

4.根据权利要求2所述的方法，其特征在于，所述步骤S1中还包括初始化所述迭代优化计算所需的计算参数；

其中，所述计算参数包括所有样本向量的拉格朗日乘子α、球心a和每个样本向量的球心距d²。

5.根据权利要求4所述的方法，其特征在于，所述初始化所述迭代优化计算的计算参数具体包括：

初始化所有样本向量的拉格朗日乘子α值为1/N；

其中，N为所述训练样本集中所述样本向量的个数；

初始化球体半径的平方R2，使得R2＝0；

根据以下公式初始化球心：

式中a为球心，αi和αj为所述训练样本集中任意两个样本向量，K_ij为核函数；

根据公式计算出所述样本向量的球心距d²。

6.根据权利要求1所述的方法，其特征在于，所述步骤S2中，从所述训练样本集中抽取违反KKT条件最大的样本向量V₂的抽取类型为无放回抽取。

7.根据权利要求1所述的方法，其特征在于，所述步骤S2中选取与样本向量V₂的球心距相差最大的样本向量V₁具体包括：

对于任意一个所述数据节点，获取该数据节点中与所述样本向量V₂的球心距相差最大的样本向量；

在Spark框架的Driver Program中根据每个所述数据节点中与所述样本向量V₂的球心距相差最大的样本向量，获得与样本向量V₂的球心距相差最大的样本向量V₁。

8.根据权利要求1所述的方法，其特征在于，所述步骤S4中，计算获得更新后的球心a^new的步骤，具体包括：在Spark框架的Driver Program中对所有数据节点中的计算得到的差分进行加总，计算获得新的球心a^new。

9.根据权利要求1所述的方法，其特征在于，所述步骤S5之后还包括：根据更新后的所述各个向量的球心距和球半径R，去除界上样本向量，保留所有无界样例的样本向返回执行S1。

10.根据权利要求8所述的方法，其特征在于，所述步骤S5之后还包括，根据判断当所述训练样本集中所有样本向量的拉格朗日乘子都满足KKT条件或所述样本向量V₁和V₂的目标损失函数loss小于预设阈值时，停止训练。