[发明专利]网页获取方法和装置

权利要求书

1.一种网页获取方法，其特征在于，包括：

确定抓取的网页中的第一hub网页；

解析出所述第一hub网页中包含的翻页信息，所述翻页信息包括翻页链接地址；

根据所述翻页信息，生成与所述第一hub网页相关的第二hub网页地址；其中，同一网站由多个hub网页分别承载所有的内容网页的链接地址时，非第一hub网页的其他hub网页为第二hub网页；

根据所述第二hub网页地址，获取内容网页；

所述根据所述翻页信息，生成与所述第一hub网页相关的第二hub网页地址包括：

根据所述翻页信息中的翻页链接地址，确定翻页起始标识、翻页步长以及目标索引范围；

根据所述翻页起始标识、所述翻页步长以及所述目标索引范围，生成第二hub网页地址；

确定目标索引范围包括：

确定第一预设索引范围；

确定所述第一预设索引范围中的一个或多个索引标识，生成对应的预设第二hub网页地址；

根据所述预设第二hub网页地址进行网页抓取，并根据抓取结果调整所述第一预设索引范围，以得到目标索引范围。

2.根据权利要求1所述的方法，其特征在于，所述解析出所述第一hub网页中包含的翻页信息包括：

解析所述第一hub网页的网页内容，确定所述网页内容中具有翻页关键词以及重复链接内容的翻页区域内容；

根据所述翻页区域内容，确定翻页信息，所述翻页信息包括具有数字标识的翻页链接地址。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述翻页起始标识、所述翻页步长以及所述目标索引范围，生成第二hub网页地址包括：

根据翻页链接地址，生成初始链接地址内容；

根据所述翻页起始标识、所述翻页步长以及所述目标索引范围，计算不同索引标识；

将所述初始链接地址内容与所述不同索引标识叠加，得到不同第二hub网页地址。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第二hub网页地址，获取内容网页包括：

根据所述第二hub网页地址，获取多个第二hub网页；

获取所述第二hub网页分别对应的内容网页。

5.根据权利要求1所述的方法，其特征在于，所述根据所述翻页信息，生成所述第一hub网页相关的第二hub网页地址包括：

根据所述翻页信息，生成所述第一hub网页相关的预设数量个第二hub网页地址。

6.一种网页获取装置，其特征在于，包括：

第一确定模块，用于确定抓取的网页中的第一hub网页；

解析模块，用于解析出所述第一hub网页中包含的翻页信息，所述翻页信息包括翻页链接地址；

地址生成模块，用于根据所述翻页信息，生成与所述第一hub网页相关的第二hub网页地址；其中，同一网站由多个hub网页分别承载所有的内容网页的链接地址时，非第一hub网页的其他hub网页为第二hub网页；

网页获取模块，用于根据所述第二hub网页地址，获取内容网页；

所述地址生成模块包括：

第二确定模块，用于根据所述翻页信息中的翻页链接地址，确定翻页起始标识、翻页步长以及目标索引范围；

地址生成子模块，用于根据所述翻页起始标识、所述翻页步长以及所述目标索引范围，生成第二hub网页地址；

所述第二确定模块包括：

预设范围估计模块，用于确定第一预设索引范围；

预设地址生成模块，用于确定所述第一预设索引范围中的一个或多个索引标识，生成对应的预设第二hub网页地址；

目标范围确定模块，用于根据所述预设第二hub网页地址进行网页抓取，并根据抓取结果调整所述第一预设索引范围，以得到目标索引范围。

7.根据权利要求6所述的装置，其特征在于，所述解析模块包括：

解析子模块，用于解析所述第一hub网页的网页内容，确定所述网页内容中具有翻页关键词以及重复链接内容的翻页区域内容；

翻页信息确定模块，用于根据所述翻页区域内容，确定翻页信息，所述翻页信息包括具有数字标识的翻页链接地址。