[发明专利]提取动态生成网页内容的技术方案

说明书

所属技术领域

本发明提出了一种技术方案涉及计算机软件、硬件及其结合在网络领域的应 用。它使得在请求获得网页数据的客户端(如浏览器等)或网络转发节点(如 代理服务器等)可以精确灵活地提取动态网页数据中的特定内容。

背景技术

在互联网上广泛使用的网页是以文本数据格式描述的按照特定计算机语言 规范构成的数据。此类语言规范是为网页创建和在网页浏览器中看到信息而设 计的置标语言。其中，超文本置标语言(英文：Hyper Text Markup Language， 以下简称HTML)是最普遍被使用和支持的一种。它是一个由万维网联盟(英文： The World Wide Web Consortium，以下简称W3C)制定规范的国际标准。

HTML语言用纯文本数据描述网页的各方面属性，包括文字信息内容、页面布 局形式、页面展现风格和其他类型内容(如图像、视频、声音等)的引用位置。 根据其数据描述，浏览器将页面内容以W3C标准规定的方式显示在用户界面中。 由于HTML语言标准的制定，页面因此可以以页面制作者预先设计的样式展现给 页面阅读者。HTML语言被所有主流浏览器所支持并使用，是互联网网页阅览 功能的基础和核心技术。

在标准的HTML规范基础之上，各浏览器开发者或开发厂商引入了一些额外 的标志信息，如微软公司所提出的VBScript脚本语言和网景公司所提出的 JavaScript脚本语言等。这些额外的标志信息被附加到以HTML为基础的信息 上，在相应的浏览器上就可以产生出一些HTML标准所未提供的展示效果和附加 功能。

此外，也存在另一些其他非HTML的文本形式语言规范，通常由HTML派生， 也具有以上提到的HTML语言的诸特性。

以上提到的标准HTML语言数据、非标准内容的HTML扩展数据、其他非HTML 标准的文本数据格式网页描述语言，均适用于本发明的范围，并在本发明的说明 中统称为网页语言和网页数据。

网页数据被应用的典型场景是：页面阅读者在浏览器操作界面中通过手工输 入、选定预制书签或点击网页内链接的方式请求存放在指定网络位置的网页数 据，该网络位置用“统一资源定位符”(英文：Uniform Resource Location，以 下简称URL)描述，通常指向一个网页服务器(英文：Web Server)所维护的网 页文件。此网页文件，可以是映射到存储介质上实际存在的文件，也可以是虚 拟的文件。网页数据由源网络位置传递到浏览器后，浏览器以网页语言所规定 的方式，将该网页所包含的信息内容以该数据所描述的展示方式和格式显示给页 面阅读者。

根据应用场景的不同，用户端软件可以是浏览器，也可以是其他通过向网页 服务器提交或转发URL形式的网页请求，并获取相应网页数据的软件或硬件。 其中涉及的通讯和交互使用超文本传输协议(英文：Hyper Text Transfer Protocol，以下简称HTTP)完成。

在服务器端，网页数据可能以两种形式被产生：

1)静态网页数据：全部网页数据(包括网页内容和展现方式信息)由网 页设计人员预先编写完成，并以文件形式存储在网页服务器可以直接 访问的存储介质上。当接收到客户端对某网页的请求时，网页服务器 读取存储介质上对应的文件，并将文件内容直接发送给客户端。客户 端得到的数据，和网页设计人员预先编写的完全相同。

  2)动态网页数据：指部分网页数据(包括网页内容和展现方式信息)为 服务器动态生成。通常，网页设计开发人员使用网页模版数据作为网 页的框架来确定网页中静态的部分，然后使用服务器端脚本或其他程 序开发技术，以网页模版数据为基础在适当的位置附加上动态内容的 生成代码。当接收到客户端对某网页的请求时，网页服务器读取网页 数据的静态部分，然后实施该网页所涉及的动态内容生成代码，得到 动态部分的数据，按照预定的方式与静态数据进行组合，形成最终发 送给客户端的网页数据。客户端对同一网页的多次访问，可能由于传 递参数或访问时间的差异而得到不相同的网页数据。