[发明专利]基于互联网的用户兴趣采集方法

权利要求书

1.一种基于互联网的用户兴趣采集方法，其特征在于，包括：

爬取节点中的待爬取队列暂存爬取事务即待爬取的URL；

从待爬取队列中获取一个URL，对该URL进行预处理；

模拟浏览器建立与待爬取站点的网址的连接，获取对应的网页，并将待爬取网站的域名地址进行缓存，用于后续爬取时直接使用；

通过应用URL散列函数，将域名散列到域名地址的散列队列中，生成一个特定的编号，通过域名地址的解析过程，来获取索引的相关内容；

解析成功后，将索引的相关内容写入相关的数据库中进行存储，索引的内容通过相应的网页IP实现写入对应的数据库中。

2.根据权利要求1所述的方法，其特征在于，还包括：获取相关内容实现更新域名池信息，若该域名己经解析了相关的对应IP，通过对域名进行相应使用频率的加权，并且判断优先处理规则；

通过实现权值相关的信息映射出相应的IP，并且通过这些具体信息的解析，实现这些域名的URL的排序，具体的解析信息通过相应的处理实现相应的关联与维护；

域名在排序时，以线性指针链索引遍历所有存在域名的相关使用权值，需要改变相关的域名顺序时通过交换相关的域名指针信息，实现这些信息的域与权值域的排序。

3.根据权利要求1所述的方法，其特征在于，当输入了一个待爬取URL，对URL进行多线程的网页解析，多个线程循环下载网页的相关数据，通过这个URL解析相应的内容，并且将这些URL存储在相关队列中；对所有的队列实现加锁处理，每一个线程在任意一个时间段只有一种线程锁。