[发明专利]一种基于协同过滤和相似性度量的用户属性推断方法

权利要求书

1.一种基于协同过滤和相似性度量的用户属性推断方法，其特征在于，包括如下步骤：

(1)数据采集，使用Python中的Scrapy框架，构建一个微博爬虫系统，使用分布式爬虫算法来自动收集微博用户帐户信息；

(2)数据预处理；

(3)使用NLP预处理数据；

(4)数据分析，使用可视化分析工具Tableau来分析收集到的用户数据，以了解用户在性别，年龄，地区，职业方面的基本分布情况以及他们之间的一些相关性；

(5)算法设计，通过遵循三步法对现有的用户账号数据进行挖掘分析，具体过程如下：

用户账号数据用特征向量化来表示，设R是一个n×m的用户属性矩阵，其中包含m个属性的n个用户的已填写属性信息，在该矩阵中，如果第i个用户填写了第j个属性，则r_i，jr_i，j为1，否则为0；设U是想要计算前N个推荐值的用户已填写的属性集，将此客户称为活跃用户，假设活跃用户不属于存储在矩阵R中的n个用户；

第一步，识别数据库中与活跃用户最相似的k个用户；第二步，计算k个用户已填写的属性的并集C，活跃用户已填写的属性集合U；第三步，从集合中选择并推荐权重最高且尚未被活跃用户填写的N个属性；

假设用户i记为User_iUser_i有20个特征，则其值表示为一个20维的向量；

F_i，jF_i，j|j＝1，2，...20j＝1，2，...20，即用户User_i的第j个特征值用F_i，jF_i，j这样来标记；

User_iUser_i＝{F_i，1F_i，1，F_i，2F_i，2，……，F_i，20F_i，20}

从用户相似度的角度考虑，假设用户User_iUser_i有m个最相似用户，那么要求解用户User_iUser_i的第j个特征值F_i，jF_i，j，考虑用m个最相似用户对应的同样的第j个特征值分别乘以其与User_iUser_i的第j个特征的“相似度”，求出累加和，然后除以User_iUser_i的m个最相似用户的对应属性与User_iUser_i的对应属性的相似度之和，即：

用户s和t的特征j的相似度可表达为：

其中，

然后上面的ω_jω_j其实也是未知的，通过机器学习，寻找优化算法来得到ωω值作为初始值；

(6)获得结果。

2.根据权利要求1所述的基于协同过滤和相似性度量的用户属性推断方法，其特征在于，步骤(1)具体工作过程如下：

1)账号的自动登录与验证，从数据库获取事先准备的多个微博账号和密码，使用selenium+phantomjs模拟登录微博平台，进行系统登录；

2)验证码的自动识别与验证，在登录过程中，获取验证码图片后，调用云打码平台提供的接口，提供验证码，接收云打码返回的验证码字符串，再在phantomjs中模拟登录；

3)微博用户帐户信息的判别和自动获取，登录过程中获取cookie，建立cookie池，通过爬虫框架中间件请求设计好的基于flask框架的接口，随机从数据库中返回json格式的新cookie，提供给scrapy使用，解决更换cookie的问题，数据爬取和策略上，将尽可能排除营销号、广告账号以及垃圾账号类型账号数据，综合考虑用户认证级别、受关注度、活跃度因素，设定过滤条件，设计分布式爬虫算法，部署于多终端和服务器，进行数据获取；在数据存储方面，针对微博用户数据及其结构特征，采用类JSON格式和NoSQL类型的MongoDB数据库进行数据存储；对于含有用户原创数据的页面，研究网页内容和链接结构，设计评价策略，设计相关算法，实现对用户发表的社交网络数据的判别和自动获取。