[发明专利]一种动态脚本网站数据快速收集方法

权利要求书

1.一种动态脚本网站数据快速收集方法，其特征在于：它包括以下步骤：

i)获取Index页面并保存，将Index页面加入待处理队列；

ii)判断所述待处理队列是否为空，若为空则表明抓取完成，退出抓取过程； 否则从所述待处理队列中任意选择一个页面，利用页面相似性得到当前页面的类 型，根据训练步骤中提取出的XPath路径特征，确定所述类型需要触发哪些页面 元素上的哪些事件；所述训练步骤包括：

1)由人工给出各类型页面组成训练样本集合；

2)判断所述训练样本集合是否为空，若为空则跳转到步骤5)，否则从所述训 练样本集合中选择一个页面；

3)判断当前页面上是否还有未触发过的事件，若没有则跳转到步骤2)；否则 触发当前事件，记录当前事件的事件信息；

4)回退到触发事件前的页面状态，并跳转到步骤3)；

5)根据所述事件信息提取各类型页面需触发事件的XPath路径特征及事件类 型；

iii)判断所述当前页面是否有未触发过的事件，若没有则跳转到步骤ii)； 否则触发事件，判断所述当前页面是否变化且变化后的页面为新页面，若没有变 化或非新页面则跳转到步骤v)；否则继续执行步骤iv)；

iv)保存所述新页面并将所述新页面加入到步骤i)中的待处理队列；

v)回退到触发事件前的页面状态，并跳转到步骤iii)。

2.如权利要求1所述的一种动态脚本网站数据快速收集方法，其特征在于： 所述步骤3)中，所述当前页面的事件信息包括，事件类型、触发事件的页面元素、 页面是否变化、变化后页面是哪种类型。

3.如权利要求1或2所述的一种动态脚本网站数据快速收集方法，其特征在 于：所述步骤5)中，所述XPath路径特征的提取方法如下：被归约的XPath路径 经过的页面元素名称必须相同，对页面元素的序号进行归约。