[发明专利]基于互联网的用户兴趣采集方法

说明书

技术领域

本发明涉及大数据，特别涉及一种基于互联网的用户兴趣采集方法。

背景技术

社交网络中用户是信息的发布者，用户如果对某方面的信息感兴趣，该用户需要做的是同发布这方面信息的用户建立链接，构建自己的社交网络，实时的相关信息就会通过社交网络传播到该用户那里。社交网络中传播的信息，例如，在微博中，用户的转发行为引发了微博信息在网络中传播，用于市场营销、广告投放和谣言控制等多个方面。由此可见，信息在社交网络中的传播对帮助用户获取信息起着至关重要的作用。现有技术中的信息传播跟踪方法通常只考虑了比较单一的影响信息传播的因素，方法中虚拟的参数通常是任意指定的，不具备预测信息传播的能力。此外，当给定一个社交网络后，对于如何在社交网络上选取一个指定规模的节点集合以达到影响力最大化的效果方面，已有方法只适用于小型网络，对于大规模的社交网络，只能得到近似的较优结果。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于互联网的用户兴趣采集方法，包括：

爬取节点中的待爬取队列暂存爬取事务即待爬取的URL；

从待爬取队列中获取一个URL，对该URL进行预处理；

模拟浏览器建立与待爬取站点的网址的连接，获取对应的网页，并将待爬取网站的域名地址进行缓存，用于后续爬取时直接使用；

通过应用URL散列函数，将域名散列到域名地址的散列队列中，生成一个特定的编号，通过域名地址的解析过程，来获取索引的相关内容；

解析成功后，将索引的相关内容写入相关的数据库中进行存储，索引的内容通过相应的网页IP实现写入对应的数据库中。

优选地，还包括：获取相关内容实现更新域名池信息，若该域名己经解析了相关的对应IP，通过对域名进行相应使用频率的加权，并且判断优先处理规则；

通过实现权值相关的信息映射出相应的IP，并且通过这些具体信息的解析，实现这些域名的URL的排序，具体的解析信息通过相应的处理实现相应的关联与维护；

域名在排序时，以线性指针链索引遍历所有存在域名的相关使用权值，需要改变相关的域名顺序时通过交换相关的域名指针信息，实现这些信息的域与权值域的排序。

优选地，当输入了一个待爬取URL，对URL进行多线程的网页解析，多个线程循环下载网页的相关数据，通过这个URL解析相应的内容，并且将这些URL存储在相关队列中；对所有的队列实现加锁处理，每一个线程在任意一个时间段只有一种线程锁。

本发明相比现有技术，具有以下优点：

本发明提出了一种基于互联网的用户兴趣采集方法，实现了并行网页爬取，提高采集和存储效率，广泛适用于大规模的社交网络。

附图说明

图1是根据本发明实施例的基于互联网的用户兴趣采集方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种基于互联网的用户兴趣采集方法。图1是根据本发明实施例的基于互联网的用户兴趣采集方法流程图。