[发明专利]基于分布式矩阵分解特征提取的社交网络垃圾过滤方法

权利要求书

1.一种基于分布式矩阵分解特征提取的社交网络垃圾过滤方法，其特征在于，包括以下步骤：

步骤S1：构造社交网络用户-属性矩阵；

步骤S2：基于分布式矩阵分解对所述社交网络用户-属性矩阵进行特征提取；

步骤S3：对潜在特征向量进行分类，判断是否为社交网络垃圾；

在步骤S1中，社交网络用户-属性矩阵的构造方法如下：

假设有n个用户，m个属性，则社交网络用户-属性矩阵构造为已知社交网络中n个用户集合和m个属性集合A_ij表示用户u_i对属性v_j的度量值，由此构造社交网络用户-属性矩阵A∈R^n×m：

所述社交网络用户-属性矩阵是稀疏矩阵；

在步骤S2中，对所述社交网络用户-属性矩阵进行特征提取的方法如下：

假定存在用户特征矩阵W∈R^n×K和属性特征矩阵H∈R^K×m，其中K＝{1,…,k,…,K}为特征数；则社交网络用户-属性矩阵A中的任意元素A_ij可以近似由W_iH_j得到，即A_ij≈W_iH_j，因此可得：

A^m×n＝W^m×k*H^k×n

采用分布式矩阵分解算法将分解问题转换为最优化问题求解，选择目标函数：

$F=\underset{i}{\Σ}\underset{j}{\Σ}{(A_{ij}-{\left(WH\right)}_{ij})}^2$

上式即为优化目标的代价函数；

对W的任一元素求导，有：

$\frac{\∂F}{\∂W_{iu}}=-2({\left({\mathrm{AH}}^T\right)}_{iu}-{\left({\mathrm{WHH}}^T\right)}_{iu})$

采用随机梯度下降法进行分布式矩阵分解，其迭代格式为：

$H\←H.*\frac{W^{T}A}{W^{T}WH}$

$W\←W.*\frac{{\mathrm{AH}}^T}{{\mathrm{WHH}}^T}$

其中，.*是矩阵对应元素之间的运算；

对W按行分块，对H按列分块，具体格式如下：

$W=\left(\begin{array}{c}{w}_1\\ .\\ .\\ .\\ w_i\\ .\\ .\\ .\\ w_m\end{array}\right)$

H＝(h₁ … h_j … h_n)

将H更新过程拆分为三个部分，分别为：(1)X＝W^TA，(2)Y＝W^TWH，(3)结合分块方案，通过适当的MapReduce过程求解各个部分；

同理，将W更新过程拆分为三个部分，分别为：(1)X＝AH^T，(2)Y＝WHH^T，(3)结合分块方案，通过适当的MapReduce过程求解各个部分。