[发明专利]网页信息的获取方法和装置

说明书

技术领域

本发明涉及计算机网络技术领域，具体涉及一种网页信息的获取方法和装置。

背景技术

网络爬虫（又被称为网页蜘蛛、网络机器人，在一些社区中，更经常的被称为网页追逐者）是一种自动获取网页内容的程序或脚本，它是搜索引擎的重要组成部分，搜索引擎的优化在很大程度上就是针对网络爬虫而做出的优化。

网络爬虫一般分为传统爬虫和聚焦爬虫。传统爬虫从一个或若干初始网页的URL（Uniform/Universal Resource Locator，统一资源定位符）开始，获得初始网页的URL；在抓取网页的过程中，不断从当前页面上抽取新的网页的URL放入队列，直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列；然后，根据一定的搜索策略从队列中选择下一步要抓取的网页的URL，重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存储，进行一定的分析和过滤，并建立索引，以便之后的查询和检索。

上述两种网络爬虫都是获取整个网页的信息，然后直接存储。这类爬虫不会对网页的信息做解析，无法满足定制化抽取网页信息的需求。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的网页信息的获取方法和相应的网页信息的获取装置。

根据本发明的一个方面，提供了一种网页信息的获取方法，包括：

抓取步骤，从站点服务器处抓取网页；

页面信息解析步骤，根据预先设定的页面抽取规则，从所述网页的指定位置抽取指定页面信息；

存储步骤，将所述指定页面信息进行结构化存储。

根据本发明的另一方面，提供了一种网页信息的获取装置，包括：

网页抓取器，适于从站点服务器处抓取网页；

页面信息解析器，适于根据预先设定的页面抽取规则，从所述网页的指定位置抽取指定页面信息；

动作处理器，适于将所述指定页面信息进行结构化存储。

根据本发明提供的网页信息的获取方法和装置，在从站点服务器处抓取到网页之后，并不是直接存储整个网页的信息，而是根据页面抽取规则从网页的指定位置抽取指定页面信息，将该指定页面信息进行结构化存储。其中页面抽取规则可根据用户的需求而定制，通过对网页的信息做解析，满足了定制化抽取网页信息的需求。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的网页信息的获取方法的流程图；

图2示出了根据本发明一个实施例的网页信息的获取装置的结构框图；以及

图3示出了根据本发明一个实施例的网页信息的获取系统的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。