[发明专利]一种有效网页内容的抓取方法及装置无效
| 申请号： | 201010196364.3 | 申请日： | 2010-06-03 |
| 公开（公告）号： | CN102270206A | 公开（公告）日： | 2011-12-07 |
| 发明（设计）人： | 贾海禄 | 申请（专利权）人： | 北京迅捷英翔网络科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 隆天国际知识产权代理有限公司 72003 | 代理人： | 张浴月;刘文意 |
| 地址： | 100007 北京市东城区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 有效 网页 内容 抓取 方法 装置 | ||
1.一种有效网页内容的抓取方法，其特征在于，所述方法包括以下步骤：
步骤S1：导入超文本链接标示语言HTML网页；
步骤S2：将所述HTML网页转换成相应的文档树结构；
步骤S3：根据所述文档树结构找出有效内容的标题标签，将找出的标题标签内的文本内容作为标题；
步骤S4：在所述文档树结构的<body>标签中，按照与所述标题标签由小到大的标签距离依次查找文本标签，将包含有与正文有关的特定字符并具有大于预定长度的文本长度的文本标签作为正文文本标签，然后将所述正文文本标签的文本内容作为正文。
2.根据权利要求1所述的抓取方法，其特征在于，所述步骤S2中，所述生成相应的文档树包括与所述有效网页内容有关的标签，将其它无关的标签删除。
3.根据权利要求1所述的抓取方法，其特征在于，所述步骤S3具体为：
在所述文档树结构中找出<title>标签；
在所述<title>标签中查找与所述文档树中<body>标签中文本相同或者编辑距离相近的文本内容，若查找到，则将所述文本内容确定为标题，否则，在所述<title>标签中查找距离所述<body>标签最近的有效文本标签，将所述有效文本标签内的文本作为标题；
其中所述有效文本标签为标签<h1>、<h2>或者所述有效文本标签内的文本内容字体大于预定字体号，并且所述有效文本标签内孩子文本标签中的不间断文本超过另一预定值。
4.根据权利要求3所述的抓取方法，其特征在于，所述预定字体号为5号，所述另一预定值为5个字。
5.根据权利要求3所述的抓取方法，其特征在于，在找出<title>标签之后，还包括过滤处理步骤：
对所述<title>标签内的文本标签进行连字符拆分和/或停用词处理，将其中的广告词或者不是标题的其它信息过滤掉。
6.根据权利要求1所述的抓取方法，其特征在于，所述步骤S4还包括过滤步骤S41：在查找文本标签过程中，将具有与广告信息有关的另一些特定字符而不包括所述与正文有关的特定字符的文本标签删除掉，然后再查找下个文本标签。
7.根据权利要求1所述的抓取方法，其特征在于，步骤S4中，所述与正文有关的特定字符包括<p>、<br>、<div>或<table>，所述预定长度为50个字。
8.根据权利要求1所述的抓取方法，其特征在于，所述步骤S4还包括步骤S42：在查找文本标签过程中，根据链接文本长度和非链接文本长度的占比来判断所述文本标签内的文本内容是否为正文，若所述占比大于0并小于1，则直接判断该文本标签内的文本内容为正文；否则判断所述文本标签内的文本内容不是正文。
9.根据权利要求1所述的抓取方法，其特征在于，在所述步骤S3和S4之间还包括时间抽取步骤S31：首先定义时间信息的正则表达式：根据步骤S3中已经获得的标题标签，查找距离所述标题标签最近的符合所述时间信息的正则表达式的标签，将查找到的所述标签中的内容作为时间。
10.根据权利要求1所述的抓取方法，其特征在于，在步骤S4之后包括图片抽取步骤S5：将步骤S4中获得正文标签中的孩子标签进行排序，记录第一个孩子标签和最后一个孩子标签；在所述第一孩子标签和所述最后一个孩子标签中寻找<img>标签，将查找到的<img>标签中的内容作为有效内容的图片。
11.一种有效网页内容的抓取装置，其特征在于，所述装置包括：
导入模块，用于导入超文本链接标示语言HTML网页；
生成模块，用于将所述HTML网页生成相应的文档树结构；
标题抽取模块，用于根据所述文档树结构找出有效内容的标题标签，将找出的标题标签内的文本内容作为标题；
文本抽取模块，用于在所述文档树结构的<body>标签中，按照与所述标题标签由小到大的标签距离依次查找文本标签，将包含有与正文有关的特定字符和具有大于预定长度的文本长度的文本标签作为正文文本标签，然后将所述正文文本标签的文本内容作为正文。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京迅捷英翔网络科技有限公司，未经北京迅捷英翔网络科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201010196364.3/1.html，转载请声明来源钻瓜专利网。
- 内容再现系统、内容提供方法、内容再现装置、内容提供装置、内容再现程序和内容提供程序
- 内容记录系统、内容记录方法、内容记录设备和内容接收设备
- 内容服务系统、内容服务器、内容终端及内容服务方法
- 内容分发系统、内容分发装置、内容再生终端及内容分发方法
- 内容发布、内容获取的方法、内容发布装置及内容传播系统
- 内容提供装置、内容提供方法、内容再现装置、内容再现方法
- 内容传输设备、内容传输方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容发送设备、内容发送方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容再现装置、内容再现方法、内容再现程序及内容提供系统
- 内容记录装置、内容编辑装置、内容再生装置、内容记录方法、内容编辑方法、以及内容再生方法
