[发明专利]基于多重分析的互联网信息精准爬取方法在审
| 申请号： | 201610915910.1 | 申请日： | 2016-10-21 |
| 公开（公告）号： | CN106484895A | 公开（公告）日： | 2017-03-08 |
| 发明（设计）人： | 陈文康;李江伟;赵光俊;李欣荣;王汝英;柳长俊;宋洋;刘圣通;彭晓武 | 申请（专利权）人： | 天津市普迅电力信息技术有限公司;国网信息通信产业集团有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 天津盛理知识产权代理有限公司12209 | 代理人： | 韩奎勇 |
| 地址： | 300384 天津市西*** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于多重分析的互联网信息精准爬取方法，包括步骤有第一步，页面信息爬取，首先将页面信息分为静态页面信息和动态页面信息，然后将静态页面信息和动态页面信息分别进行爬取；第二步，对上述爬取信息进行解析处理，首先将上述爬取信息分类为满足dom模型的结构信息和非结构信息，然后对分类信息分别进行解析规则分析；第三步，对上述明确解析规则后的爬取任务进行多线程任务处理，并配置各种多线程任务的周期频度。本发明爬取准确度高，灵活性强，机动性强，操作简便，任务可视化直观，便于后期对爬取数据的各种分析。 | ||
| 搜索关键词： | 基于 多重 分析 互联网 信息 精准 方法 | ||
【主权项】：
一种基于多重分析的互联网信息精准爬取方法，其特征在于该方法包括步骤如下：第一步，页面信息爬取，首先将页面信息分为静态页面信息和动态页面信息，然后将静态页面信息和动态页面信息分别进行爬取，并且要分配每个页面一个主题，便于后期进行数据分析；第二步，对上述爬取信息进行解析处理，首先将上述爬取信息分类为满足dom模型的结构信息和非结构信息，然后对分类信息分别处理，具体步骤如下：(1)判断爬取信息是否符合超文本标记语言格式；(2)装载爬取内容的源码到一个Document对象；(3)分析爬取内容的标签规则，找出具有独特的标签定义逻辑；(4)利用dom模型的解析原理，确定解析表达式；第三步，对上述明确解析规则后的爬取任务进行多线程任务处理，并配置各种多线程任务的周期频度。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天津市普迅电力信息技术有限公司;国网信息通信产业集团有限公司，未经天津市普迅电力信息技术有限公司;国网信息通信产业集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610915910.1/，转载请声明来源钻瓜专利网。
