[发明专利]网页内容提取方法及装置

说明书

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种网页内容提取方法及装置。

背景技术

随着计算机技术的发展，用户通过浏览网页获得所需的信息已经是常用的信息获取方式。

现有技术中，用户在浏览器的地址栏中输入统一资源定位符(UniformResourceLocator，简称URL)或者点击某一个链接登录到该URL或该链接对应的服务器上，该服务器从数据库中调取与该URL或该链接对应的内容，并将该内容返回给用户。

由于传统静态网页逐渐发展为动态呈现网页，传统的服务器从数据库中获取内容的方法已经不适合动态网页内容的提取，导致传统服务器的兼容性较低。

发明内容

本发明实施例提供一种网页内容提取方法及装置，以提高传统服务器的兼容性。

本发明实施例的一个方面是提供一种网页内容提取方法，包括：

服务器解析网页获得网页类型，所述网页类型包括静态网页和动态网页；

若所述网页类型为静态网页，则所述服务器依据所述静态网页的结构从数据库中获取网页内容；

若所述网页类型为动态网页，则所述服务器模拟浏览器发出动态操作指示信息从数据库中获取网页内容。

本发明实施例的另一个方面是提供一种网页内容提取装置，包括：

解析模块，用于解析网页获得网页类型，所述网页类型包括静态网页和动态网页；

获取模块，用于若所述网页类型为静态网页，则依据所述静态网页的结构从数据库中获取网页内容；若所述网页类型为动态网页，则模拟浏览器发出动态操作指示信息从数据库中获取网页内容。

本发明实施例提供的网页内容提取方法及装置，通过服务器解析网页获得网页类型，对于静态网页，服务器依据静态网页的结构从数据库中获取网页内容，对于动态网页，服务器模拟浏览器发出动态操作指示信息从数据库中获取网页内容，使得服务器能够实现对动态网页内容的提取，提高了传统服务器的兼容性。

附图说明

图1为本发明实施例提供的网页内容提取方法流程图；

图2为本发明实施例提供的网页内容提取装置的结构图。

具体实施方式

图1为本发明实施例提供的网页内容提取方法流程图。本发明实施例针对传统的服务器从数据库中获取内容的方法已经不适合动态网页内容的提取，导致传统服务器的兼容性较低，提供了网页内容提取方法，该方法具体步骤如下：

步骤S101、服务器解析网页获得网页类型，所述网页类型包括静态网页和动态网页；

在本发明实施例中，用户通过用户终端向服务器发送请求获取网页，服务器收到请求后先判断该用户请求的网页的类型，网页类型包括静态网页和动态网页。

步骤S102、若所述网页类型为静态网页，则所述服务器依据所述静态网页的结构从数据库中获取网页内容；

若所述网页类型为静态网页，且静态网页以不同的结构存储在数据库中，具体地，静态网页以树形结构或字符结构存储在数据库。

步骤S103、若所述网页类型为动态网页，则所述服务器模拟浏览器发出动态操作指示信息从数据库中获取网页内容。

所述动态操作指示信息包括点击操作指示信息、滚动网页指示信息。

若所述网页类型为动态网页，需要动态操作才能触发获取到该网页内容，即对于某些网页，需要触发网页上的某些事件与服务器进行交互才能获取所需数据，例如，浏览器用户浏览网页时经常需要某些点击网页上的按钮，才能在页面上看到数据，所述服务器模拟浏览器发出动态操作指示信息从数据库中获取网页内容，具体的，服务器依据动化的数据采集程序模拟真实用户的行为，如点击鼠标，滚动页面等，类似操作可以通过针对不同网站定制配置文件，植入相关代码模拟触发事件的动作。

本发明实施例通过服务器解析网页获得网页类型，对于静态网页，服务器依据静态网页的结构从数据库中获取网页内容，对于动态网页，服务器模拟浏览器发出动态操作指示信息从数据库中获取网页内容，使得服务器能够实现对动态网页内容的提取，提高了传统服务器的兼容性。