[发明专利]基于稀疏线性在线学习的垃圾邮件分类方法及系统

权利要求书

1.基于稀疏线性在线学习的垃圾邮件分类方法，其特征在于，包括以下步骤：

S1、利用随机傅里叶特征方法将特征化的电子邮件原始数据集映射为高维特征空间的训练样本，得到预处理后的训练样本集；

S2、利用预处理后的训练样本集训练线性分类模型，并采用FTRL算法对模型参数进行更新，得到训练后的线性分类模型；

S3、利用训练后的线性分类模型对电子邮件进行预测分类。

2.如权利要求1所述的基于稀疏线性在线学习的垃圾邮件分类方法，其特征在于，所述特征化的电子邮件原始数据集X为：

X＝{(x₁,y₁),…,(x_m,y_m)}

其中，x_i∈Rⁿ为描述电子邮件原始数据集中第i封电子邮件文本信息特征的向量；y_i∈{-1,+1}为x_i对应标签；若y_i＝-1，则邮件是垃圾邮件；若y_i＝+1，则邮件不是垃圾邮件；i＝1,2,…,m。

3.如权利要求2所述的基于稀疏线性在线学习的垃圾邮件分类方法，其特征在于，步骤S1包括：

S11、对选定的平移不变核函数k(x_i,x_j)＝k(x_i-x_j)＝k(Δx)进行傅里叶逆变换，得到：

其中，p(u)为随机变量u∈Rⁿ的概率密度函数；

S12、在p(u)上独立采集N个样本，记为u₁,…,u_N，则特征空间中x的像表示为：

其中，T表示转置；

S13、利用求得的高维显式映射z(·):Rⁿ→R^2N将电子邮件原始数据集中的样本x映射为z(x)，得到预处理后的训练样本集，即{(z(x₁),y₁),…,(z(x_m),y_m)}。

4.如权利要求3所述的基于稀疏线性在线学习的垃圾邮件分类方法，其特征在于，所述线性分类模型f(x)表示为：

f(x)＝w^Tz(x)

其中，x为描述电子邮件原始数据集中电子邮件文本信息特征的向量；w∈R^2N为模型参数；z(x)为电子邮件原始数据集中的样本x的高维显式映射；T表示转置。

5.如权利要求4所述的基于稀疏线性在线学习的垃圾邮件分类方法，其特征在于，所述线性分类模型训练时采用如下损失函数：

l(f(x),y)＝[1-yf(x)]₊

其中，y为x对应标签；

6.如权利要求4所述的基于稀疏线性在线学习的垃圾邮件分类方法，其特征在于，所述采用FTRL算法对模型参数进行更新包括：

对于预处理后的训练样本集中的第t个样本(z(x_t),y_t)，采用FTRL算法对模型参数w进行单次更新，更新规则公式为：

其中，为第s轮的梯度；σ_s为学习率相关参数，满足η_t为第t轮的学习率；λ₁0为L1正则项的系数；更新规则公式的第一项用来近似前t轮的累计误差；第二项为稳定正则项；第三项为L1正则项。

7.如权利要求6所述的基于稀疏线性在线学习的垃圾邮件分类方法，其特征在于，求解更新规则公式时，将其按维度拆分成2N个独立的标量最小化问题：

其中，w_i表示模型参数的第i维，g_s,i和w_s,i分别表示第s轮中梯度以及模型参数的第i维，解决所述标量最小化问题，得到各个维度权重更新的公式：

其中，sgn(x)为符号函数。