[发明专利]一种有效网页内容的抓取方法及装置无效
| 申请号： | 201010196364.3 | 申请日： | 2010-06-03 |
| 公开（公告）号： | CN102270206A | 公开（公告）日： | 2011-12-07 |
| 发明（设计）人： | 贾海禄 | 申请（专利权）人： | 北京迅捷英翔网络科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 隆天国际知识产权代理有限公司 72003 | 代理人： | 张浴月;刘文意 |
| 地址： | 100007 北京市东城区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 有效 网页 内容 抓取 方法 装置 | ||
技术领域
本发明涉及互联网信息处理领域，尤其涉及一种有效网页内容的抓取方法及装置。
背景技术
目前互联网上存有目前人类所知的最大的信息库，其中绝大部分信息都是以HTML(Hyper Text Mark-up Lanugage，超文本链接标记语言)格式网页存在。HTML被用来结构化信息——例如标题、段落和列表，能够丰富的表现文本，图片以及其他多媒体信息。结合HTML阅读工具“浏览器”人们能够很方便地查看在HTML结构中的信息。但是从信息记录方面，HTML网页包含了大量的用来结构化信息的标签，同时网页中可能包含很多无用的信息。并且，随着各种移动终端的蓬勃发展，移动终端对上网的需求越来越高，若直接通过移动终端访问HTML页面时，由于移动终端设备本身的性能限制，会使每次访问HTML的连接时间较长，速度较慢，并且由于大量无用信息的存在会导致数据传输流量较大，使用户获取网页的时间和费用都会较高，因而如何把有用信息从HTML格式网页中准确快速地抽取出来对移动终端设备来说变得非常重要。
目前的文本信息抽取技术只能通过HTML标签信息对特定HTML标签内的内容进行获取，针对于目标处理网页需要事先考察网页HTML标签结构，事先定制抽取模板。而对于事先无法获知HTML结构的网页，文本信息抽取将无法进行。
发明内容
为了解决上述问题，本发明主要目的是提供一种有效网页内容的抓取方法及装置，使其能够简单、方便地实现对通用HTML结构的网页进行有效信息的抽取。
为了实现上述目的，本发明提供了一种有效网页内容的抓取方法，所述方法包括以下步骤：
步骤S1：导入超文本标示语言HTML网页；
步骤S2：将所述HTML网页转换成相应的文档树结构；
步骤S3：根据所述文档树结构找出有效内容的标题标签，将找出的标题标签内的文本内容作为标题；
步骤S4：在所述文档树结构的<body>标签中，按照与所述标题标签由小到大的标签距离依次查找文本标签，将包含有与正文有关的特定字符并具有大于预定长度的文本长度的文本标签作为正文文本标签，然后将所述正文文本标签的文本内容作为正文。
根据本发明的一个实施例，在所述步骤S2中，所述生成相应的文档树只包括与所述有效网页内容有关的标签，将其它无关的标签删除。
根据本发明的一个实施例，所述步骤S3可具体为：
在所述文档树结构中找出<title>标签；
在所述<title>标签中查找与所述文档树中<body>标签中相同或者编辑距离相近的文本内容，若查找到，则将所述文本内容确定为标题，否则，在所述<title>标签中查找距离所述<body>标签最近的有效文本标签，将所述有效文本标签内的文本作为标题；
其中所述有效文本标签为标签<h1>、<h2>或者所述有效文本标签内的文本内容字体大于预定字体号，其中所述预定字体号优选为5号，并且所述有效文本标签内孩子文本标签中的不间断文本超过另一预定值，其中所述另一预定值优选为5个字。
根据本发明的一个实施例，在步骤S3中找出<title>标签之后，还包括过滤处理步骤：对所述<title>标签内的文本标签进行连字符拆分和/或停用词处理，将其中的广告词或者不是标题的其它信息过滤掉。
根据本发明的另一个实施例，所述步骤S4还包括过滤步骤S41：在查找文本标签过程中，将具有与广告信息有关的另一些特定字符而不包括所述与正文有关的特定字符的文本标签删除掉，然后再查找下个文本标签。其中所述与正文有关的特定字符优选包括<p>、<br>、<div>或<table>等，所述预定长度优选为50个字。
根据本发明的另一个实施例，所述步骤S4还包括步骤S42：在查找文本标签过程中，根据链接文本长度和非链接文本长度的占比来判断所述文本标签内的文本内容是否为正文，若所述占比大于0并小于1，则直接判断该文本标签内的文本内容为正文；否则判断所述文本标签内的文本内容不是正文。
根据本发明的另一个实施例，所述在步骤S3和S4之间还包括时间抽取步骤S31：首先定义时间信息的正则表达式：根据步骤S3中已经获得的标题标签，查找距离所述标题标签最近的符合所述时间信息正则表达式的标签，将查找到的所述标签中的内容作为时间。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京迅捷英翔网络科技有限公司，未经北京迅捷英翔网络科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201010196364.3/2.html，转载请声明来源钻瓜专利网。
- 内容再现系统、内容提供方法、内容再现装置、内容提供装置、内容再现程序和内容提供程序
- 内容记录系统、内容记录方法、内容记录设备和内容接收设备
- 内容服务系统、内容服务器、内容终端及内容服务方法
- 内容分发系统、内容分发装置、内容再生终端及内容分发方法
- 内容发布、内容获取的方法、内容发布装置及内容传播系统
- 内容提供装置、内容提供方法、内容再现装置、内容再现方法
- 内容传输设备、内容传输方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容发送设备、内容发送方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容再现装置、内容再现方法、内容再现程序及内容提供系统
- 内容记录装置、内容编辑装置、内容再生装置、内容记录方法、内容编辑方法、以及内容再生方法
