[发明专利]网页获取方法和装置有效
| 申请号： | 201310048765.8 | 申请日： | 2013-02-06 |
| 公开（公告）号： | CN103077254B | 公开（公告）日： | 2017-11-03 |
| 发明（设计）人： | 于维纬;刘卓 | 申请（专利权）人： | 人民日报媒体技术股份有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京汇智英财专利代理事务所(普通合伙)11301 | 代理人： | 郑玉洁 |
| 地址： | 100026 北京市朝阳*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请提供了一种网页获取方法和装置，所述方法包括确定抓取的网页中的第一中心hub网页；解析出所述第一hub网页中包含的翻页信息，所述翻页信息包括翻页链接地址；根据所述翻页信息，生成与所述第一hub网页相关的第二hub网页地址；根据所述第二hub网页地址，获取内容网页。通过本申请实施例提高了网页获取时的网页覆盖率，使得能够获取更全面的网络信息。 | ||
| 搜索关键词： | 网页 获取 方法 装置 | ||
【主权项】：
一种网页获取方法，其特征在于，包括：确定抓取的网页中的第一hub网页；解析出所述第一hub网页中包含的翻页信息，所述翻页信息包括翻页链接地址；根据所述翻页信息，生成与所述第一hub网页相关的第二hub网页地址；其中，同一网站由多个hub网页分别承载所有的内容网页的链接地址时，非第一hub网页的其他hub网页为第二hub网页；根据所述第二hub网页地址，获取内容网页；所述根据所述翻页信息，生成与所述第一hub网页相关的第二hub网页地址包括：根据所述翻页信息中的翻页链接地址，确定翻页起始标识、翻页步长以及目标索引范围；根据所述翻页起始标识、所述翻页步长以及所述目标索引范围，生成第二hub网页地址；确定目标索引范围包括：确定第一预设索引范围；确定所述第一预设索引范围中的一个或多个索引标识，生成对应的预设第二hub网页地址；根据所述预设第二hub网页地址进行网页抓取，并根据抓取结果调整所述第一预设索引范围，以得到目标索引范围。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于人民日报媒体技术股份有限公司，未经人民日报媒体技术股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310048765.8/，转载请声明来源钻瓜专利网。
