[发明专利]一种基于社交数据的相似用户挖掘方法

说明书

技术领域

本发明涉及互联网信息技术中的社交网络领域，尤其涉及一种估计与社交数据的相似用户挖掘方法。

背景技术

微博作为一种新型的社交网络服务，受到了越来越多用户的关注。据统计，每天有数以千计的新用户加入微博平台，同时产生了数以亿计的微博信息。同时越来越多的商家，也纷纷开通企业账号，吸纳粉丝(客群)。通过对客户进行针对性营销，建立品牌认知，已经成为品牌宣传、市场营销的主流手段。如何从已有客户中，关联扩展出新用户，一直是各个企业思考的问题，基于社交大数据进行用户扩展方法，越来越被认可。寻求兴趣相似用户是用户扩展的一个重要手段，现有的寻找相似用户的方法包括两种，下面，将对这两种方法的步骤以及确定进行对应说明。

第一种，将用户发布微博、评论和转发中@的其他用户作为该用户的相似用户，这种寻找相似用户的方法很简单，直接通过爬取该用户的微博，进行解析就能发现其中的关系；用户与被@用户之间存在兴趣相同性，这是微博独有的功能属性产生的，是一种强相关性。但这种强相关性十分稀疏，不利于大规模相似用户拓新，导致了召回率低下。

第二种，根据用户之间关注大V用户的相似情况来确定判断两个用户之间的相似度。该方法的步骤为：(1)爬取用户的关注列表，并通过列表中用户的粉丝量或自我简介筛选出其中所有具有媒体属性的大V用户；(2)采集该用户与每一个大V用户间的互动次数(包括评论、转发和点赞等)，以及大V用户的粉丝量。

(3)通过公式“兴趣指数＝互动次数/大V粉丝数”计算该用户对每一个大 V用户的兴趣指数；并得到每一个大V用户兴趣指数的向量；(4)再通过计算两个用户分别对两个大V用户的兴趣指数的向量的余弦相似度，来表示两用户间兴趣相似度。(5)通过计算一个用户与待扩展集合中用户，相似个数与相似平均值，来判断该用户是否为要扩展的用户。这种方法能较好地应对用户热门兴趣的相似度计算，但对于常规的兴趣相似度度计算，仍然存在数据稀疏的情况，相似用户挖掘效果存在瓶颈。例如两个小众的大V或品牌，A博主与B博主，它们都属于同一领域，粉丝的交集不大，a用户关注A博主、b用户关注B博主，a与b属于相似用户，但第二方法中无法计算出来，同样，这种挖掘方法最终的召回率较低。

发明内容

本发明的目的在于：为解决现有的通过用户发布微博、评论、转发中@其他用户这种方法的强相关性十分稀疏、不利于大规模相似用户拓新，导致了召回率低下；以及通过用户关注大V用户的相似情况这种方法对于常规的兴趣相似度计算仍然存在数据稀疏的情况，最终的召回率仍然较低的问题，本发明提供一种基于社交数据的相似用户挖掘方法。

本发明的技术方案如下：

一种基于社交数据的相似用户挖掘方法，包括如下步骤：

步骤一：从用户的微博文本中爬取关键数据；

步骤二：从关键数据中提取TOPN关键词；

步骤三：根据通用语料训练通用word2vec模型，通过两个用户的TopN关键词，计算用户间的兴趣向量。

步骤四：对用户兴趣向量两两进行余弦相似度计算，得到两用户间的兴趣相似度；

步骤五：根据兴趣相似度筛选出相似用户，完成相似用户挖掘。

具体地，所述步骤一中，从用户微博文本中爬取的关键数据包括：(1)用户发布微博与互动微博的文本数据；(2)用户关注大V博主的列表数据；(3)用户关注的大V博主发布的微博文本数据。

优选地，所述大V博主为微博粉丝数至少为10W,所述关键数据为用户近三个月的数据。

具体地，，所述步骤二中，在从关键数据中提取TOPN关键词之前，要将从用户微博中爬取的文本数据进行NLP处理，NLP处理包括分词处理和去停用词处理。

具体地，所述步骤二中，采用TextRank排序方法计算TOPN关键词，具体的步骤为：假设将所有用户发布的微博集合视为一个文档D，其中用户u发布的每条微博为mi，且mi∈D，每个候选关键词k的词频TF_k表示该词在微博文档mi 中出现的频率，含有该关键词k的微博mi在整个微博文档D中的逆向文档频率 IDF_k为：

其中：{m：k∈m}表示含有关键词k的微博数量，|du|表示用户发布微博的总数量；利用TextRank排序方法计算词语V_i重要性的分数公式为：