[发明专利]基于关键词导向的主题网络爬虫的数据搜集方法在审
| 申请号： | 201510393801.3 | 申请日： | 2015-07-07 |
| 公开（公告）号： | CN106339378A | 公开（公告）日： | 2017-01-18 |
| 发明（设计）人： | 朴爱花;龚晓锐;和晓宇;霍玮;邹维 | 申请（专利权）人： | 中国科学院信息工程研究所 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京君尚知识产权代理事务所(普通合伙)11200 | 代理人： | 冯艺东 |
| 地址： | 100093 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于关键词导向的主题网络爬虫的数据搜集方法。该方法的步骤包括1)在网络爬虫的配置文件中设立主题信息的配置选项，包括主题关键词列表、各关键词相应的权重以及主题相关度分值阈值；2)对待爬取网页的内容进行解析，得到对应于所述主题关键词列表中各关键词的关键词出现次数，并根据各关键词的权重及其出现次数计算主题相关度分值；3)通过将当前网页链接的主题相关度分值与所设定的阈值进行比较，控制网络爬虫的链接扩散走向并实现数据搜集。本发明通过设定与主题相关的关键词，动态调整爬取走向，既保证了爬取的广度，又维持了爬取扩散的方向不脱离指定主题，能够更有效地收集最大范围的主题内容。 | ||
| 搜索关键词： | 基于 关键词 导向 主题 网络 爬虫 数据 搜集 方法 | ||
【主权项】：
一种基于主题网络爬虫的数据搜集方法，其步骤包括：1)在网络爬虫的配置文件中设立主题信息的配置选项，包括主题关键词列表、各关键词相应的权重以及主题相关度分值阈值；2)对待爬取网页的内容进行解析，得到对应于所述主题关键词列表中各关键词的关键词出现次数，并根据各关键词的权重及其出现次数计算主题相关度分值；3)通过将当前网页链接的主题相关度分值与所设定的阈值进行比较，控制网络爬虫的链接扩散走向并实现数据搜集。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院信息工程研究所，未经中国科学院信息工程研究所许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510393801.3/，转载请声明来源钻瓜专利网。
