[发明专利]一种基于多策略的微博信息优先采集方法

权利要求书

1.一种基于多策略的微博信息优先采集方法，包括以下步骤：

步骤(1)垃圾博主检测

步骤(1.1)构建垃圾微博检测模型

步骤(1.1.1)构建训练数据集，具体如下：

利用爬虫爬取并人工标注一组微博博文数据：G＝[(x₁,y₁),(x₂,y₂),......,(x_n,y_n)]，其中n代表总微博条数，x_i代表第i条微博，其中y_i＝0表示x_i为垃圾微博，y_i＝1表示x_i为正常微博；

对G中微博进行数据预处理，包括分词、去除停用、英文大写转小写、繁体转简体；

对微博博文数据G中的所有微博均选取8个微博特征，从而构成训练数据集，其中8个微博特征包括博主本身的个人信息特征4个：粉丝数、关注数、N个月的发博数量和发博频率,N的取值范围为：3≤N≤5，以及博文内容特征4个：单条微博的长度、单条微博的链接的个数、单条微博图片的数量和包含的人工标定的敏感词汇个数；

步骤(1.1.2)训练垃圾微博检测模型

利用前步构建的训练数据集，采用支持向量机算法，训练得到垃圾微博检测模型，记作H(x)，其中，x表示一条微博的8个特征，若H(x)＝0表示垃圾微博，H(x)＝1表示正常微博；

步骤(1.2)利用训练完成的垃圾微博检测模型进行垃圾博主检测并删除，具体如下：

步骤(1.2.1)获取d₁天内，25≤d₁≤31，所有微博博主发表的微博集合；

步骤(1.2.2)根据步骤1.1.1)所述对所有微博进行预处理和特征选择；

步骤(1.2.3)通过训练完成的垃圾微博检测模型H(x)对所有微博进行分类,统计每个博主的垃圾微博条数ξ，若ξ＞ξ_max，则将该博主归为垃圾博主，其中ξ_max为当前博主是否为垃圾博主的阈值，取值范围为：8≤ξ_max≤10；

步骤(2)将步骤(1)中检测出的垃圾博主从当前微博博主中剔除，然后分类：

剔除垃圾博主后的博主集合定义为U＝{(u₁,uf₁),(u₂,uf₂),...(u_n,uf_n)}，博主特征集合定义为uf＝{N_fans,N_blog}，其中：(u_i,uf_i)分别代表博主u_i和该博主的特征集合数据，N_fans表示粉丝数，N_blog表示日均更博数量；对博主集合U中每一博主u_i，作如下处理：

若N_fans＞Num₁，则为A类型博主，记作U_A；

若Num₁＞N_fans＞Num₂或N_blog＞MB，则为B类型博主，记作U_B；

若不满足上述两个条件且N_fans＞Num₃，则为C类型博主，记作U_C；

其中Num₁代表第一阈值，取值范围为：20万≤Num₁≤80万；Num₂代表第二阈值，取值范围为：1万≤Num₂≤10万；MB代表第三阈值，取值范围为：3≤MB≤5；NumC代表第四阈值，取值范围为：2000≤Num₃≤5000；

步骤(3)确定A类型博主优先采集策略，得到对每位博主的最优采集时间，具体如下：

步骤(3.1)对于任意u_a∈U_A，获取d₂天内,25≤d₂≤31,博主u_a的博文的发表时间，去除年月日部分，只保留时分秒部分，排序后得到集合T(u_a)＝{t₁,t₂,...,t_n}，其中t_i代表博主u_a的第i条微博的发表时间；

步骤(3.2)将T(u_a)利用k-means算法进行聚类，簇中心的个数k定义见公式(1)：

其中：δ为权重，取值范围为：0.3≤δ≤0.8，len(T(u_a))为集合T(u_a)的大小，k为δ和len(T(u_a))乘积的向上取整；

步骤(3.3)获取k-means算法的k个簇中心为{t_c1,t_c2,...,t_ck},在每个簇中选择时间最大的作为当前簇的最优采集时间，得到对每位博主的k个最优采集时间，记作

步骤(4)确定B类型博主优先采集策略，得到对B类型博主的优先采集列表SortB，具体如下：

步骤(4.1)构建B类型博主采集回归模型，具体如下：

步骤(4.1.1)从B类型博主集合中随机采样n个，45000≤n≤50000，作为B类型博主的种子博主集合：M＝{u_b1,u_b2,...,u_bn}，其中u_bi代表随机采样的第i个B类型博主；

步骤(4.1.2)获取种子博主集合M中每个博主u_b的微博特征集合x(u_b)以及活跃度值y(u_b)，

其中，x(u_b)表示为一个7元组，x(u_b)＝{N_hot,N_blog,N_reply,N_follow，N_like,len，type}

其中，N_hot表示博主d₃天内微博中包含热点信息的微博条数，25≤d₃≤31；N_blog表示博主d₃天内的微博条数，N_reply表示博主d₃天内收到的回复数量，N_follow表示博主d₃天内中微博被转发的数量，N_like表示博主d₃天内中收到的点赞数量，len表示博主d₃天内所发微博的平均长度，type为1代表当前博主是转发型博主，即在微博总数中，转发微博数量大于原创微博数量，否则为0；

y(u_b)由公式(2)进行计算得到：

其中：H_blog代表当前博主d₄年内所发的微博数量，1≤d₄≤3,H_follow代表博主d₄年内微博被转发的总数量，H_reply代表博主d₄年内收到的总回复数量，H_like代表博主d₄年内收到的微博的点赞数量；w_f,w_r,w_l分别代表B类型博主转发、回复、点赞所占的权重值，其中：0.5≤w_f≤0.7，0.2≤w_r≤0.4,0.1≤w_l≤0.2，且w_f+w_r+w_l＝1；

步骤(4.1.3)依据种子博主集合M中每个博主u_b的微博特征集合，构建回归模型训练集：trainset＝[(x(u_b1),y(u_b1)),(x(u_b2),y(u_b2)),...,(x(u_bn),y(u_bn))]，其中：(x(u_bi),y(u_bi))代表博主u_bi的微博特征集合和活跃度分数值，活跃度分数值通过公式(2)得到；

步骤(4.1.4)利用随机森林算法构建回归模型，并通过训练集trainset进行训练，得到训练好的模型F(u)，其中:u代表每个B类型博主的微博特征集合，F(u)则表示该博主的活跃度值；

步骤(4.2)构建B类型博主的优先采集列表SortB；

步骤(4.2.1)通过训练好的回归模型F(u)获取每一个B类型博主u_b的活跃度值F(u_b)；

步骤(4.2.2)依据活跃度值F(u_b)将B类型博主进行降序排序，得到B类型博主的优先采集列表SortB；

步骤(5)确定C类型博主优先采集策略，得到对C类型博主的优先采集列表SortC，具体如下：

步骤(5.1)获取每个C类型博主u_c的d₅天内的微博总数量N_blog，以及粉丝数量N_fans,25≤d₅≤31；

步骤(5.2)C类型博主的活跃度得分score由公式(3)得到：

其中w_f代表C类型博主的粉丝数的权重，w_b代表所发微博数量的权重，0.1≤w_f≤0.3,0.7≤w_b≤0.9且w_f+w_b＝1，N_fans和N_blog则代表C类型博主u_c的粉丝数和近d₅天内的发博总数量；N_fmax和N_fmin代表所有C类型博主的最大粉丝数和最小粉丝数，N_bmax和N_bmin则代表所有C类型博主近d₅天内发的微博总数量的最大值和最小值；

步骤(5.3)依据公式(3)，依次计算每个C类型博主的活跃度得分，并降序排序得到C类型博主的优先采集列表SortC；

步骤(6)构建A、B、C类博主的采集队列list，采集器根据采集队列搜集博主信息，具体为：

将C类型博主平均分成三份，即sortC＝{sortC1,sortC2,sortC3}，B、C类博主的采集队列为[SortB,SortC1,SortB,SortC2,SortB,SortC3]，即SortB采集了三遍的同时，SortC仅仅采集了一遍；

然后将A类所有博主的采集时间加入B、C类博主的采集队列，即当任意A类博主中的最优采集时间与系统时间相等时，则将对应博主的微博采集需求插入到采集队列list中，遍历A类所有博主的最优采集时间，形成A、B、C类博主的采集队列list；

采集器依据list的顺序，采集博主的信息；

步骤(7)定期执行步骤(2)-(6)，重新获取博主的近期信息，重新划定博主类型，训练模型，更新采集队列list并采集博主信息。