[发明专利]一种面向主题的获取动态页面内容的方法及系统

权利要求书

1.一种面向主题的获取动态页面内容的方法，其步骤为：

1)在抓取服务器端建立一JavaScript过滤库和一JavaScript本地库；

2)获取每一抓取页面的页面信息，生成当前页面的DOM对象；如果当前页面中使用宿主对象，则该抓取服务器将其实例化为相应对象；

3)根据所述JavaScript过滤库检验当前页面中请求的外部JavaScript文件，如果与主题无关，则在当前页面的DOM对象相应位置设置无需加载标记，否则设置正常加载标记；

4)对于标记为正常加载的外部JavaScript文件，如果当前处理的JavaScript文件存在于所述JavaScript本地库，则设置本地加载标记，否则设置正常加载标记；

5)执行当前页面中的JavaScript，获取动态页面信息；其中，根据加载标记加载外部JavaScript文件；

6)检验获取的每一动态页面是否丢失了原有页面中的部分信息，如果丢失，则重新将丢失部分添加到动态页面中，得到整合后的页面信息。

2.如权利要求1所述的方法，其特征在于所述JavaScript过滤库存储与抓取主题无关的JavaScript文件；所述JavaScript本地库存储外部JavaScript文件。

3.如权利要求2所述的方法，其特征在于所述JavaScript过滤库还包括在线统计客户满意度，插入第三方广告推广代码功能的JavaScript文件。

4.如权利要求2或3所述的方法，其特征在于根据所述JavaScript过滤库检验当前页面中请求的外部JavaScript文件，如果该文件在所述JavaScript过滤库中存在，则在当前页面对应的DOM对象相应位置设置无需加载标记，否则设置正常加载标记。

5.如权利要求1所述的方法，其特征在于所述得到整合后的页面信息的方法为：遍历当前动态页面的动态页面库，针对每个动态页面，初始化一个空栈并对它的根标签执行：

a)取根标签下的第一个元素；

b)如果该元素不存在，弹出栈顶元素，然后获取栈顶元素；此时如果栈顶元素为空，则取下一个动态页面的根标签，否则取出该元素中的下一个元素；此时如果该元素的下一个元素为空，则弹出栈顶元素；此时如果栈为空，则取下一个动态页面的根标签，如果该元素为文本内容，则从当前页面的DOM中查询该本文内容；

c)如果标签内部包含标签，则将当前标签压入栈中，取出该标签下第一个元素，执行步骤b)的处理；否则，取出该标签的文本内容，从当前页面的DOM中查询该本文内容；

d)如果从当前页面的DOM中找到查询的本文内容，则获取栈顶元素，如果栈顶元素为空，则取下一个动态页面的根标签；否则取出该元素中下一个元素，执行步骤b)的处理；

e)将该文本内容放在根标签内并插入到当前页面主体标签</body>前面的位置，获取栈顶元素，并取其中的下一个元素，执行步骤b)的处理；

f)如果下一个动态页面不存在，则结束处理。

6.如权利要求1所述的方法，其特征在于该抓取服务器端包括一生成宿主对象的类，用于实例化相应宿主对象；所述宿主对象包括：HTML DOM对象、CSS对象、EVENT对象、BOM对象、XMLHttpRequest对象。

7.如权利要求1所述的方法，其特征在于利用HTML解析器生成当前页面的DOM对象；所述HTML解析器为DOMParser或HTMLParser。

8.如权利要求1或2所述的方法，其特征在于所述JavaScript本地库包括jQuery文件集合、Ext文件集合、Dojo文件集合、Google Web ToolKit文件集合、ProtoType文件集合、YUI文件集合，并检验文件的逻辑完整性；然后根据关键字为各个文件集合建立关键字与各个文件集合的一对一映射关系。