[发明专利]检测在网页上的重复模式

权利要求书

1.一种用于检测网页上的重复模式的系统，所述系统包括：

处理器，所述处理器适于执行所存储的指令；以及

存储指令的存储器装置，所述存储器装置包括处理器可执行代码，所述处理器可执行代码当由所述处理器执行时，适于：

生成DOM-树；

基于所述DOM-树和节点列表来生成信号；

分析所述信号；

在所述信号中选择节点以形成周期波；以及

使用所述周期波和所述节点来检测重复模式。

2.根据权利要求1所述的系统，其中，所述节点列表包括DOM-树中的每个节点的节点深度。

3.根据权利要求1所述的系统，其中，所述存储器存储处理器可执行代码，所述处理器可执行代码适于通过如下步骤来基于DOM-树和节点列表生成所述信号：

从DOM-树获得节点列表，其中，所述节点列表包括DOM-树中的每个节点的节点深度；以及

基于所述节点列表中的叶节点以及所述节点深度来生成1D信号，其中，每个节点对应于所述信号上的点，其中该点的x坐标对应于该节点的遍历次序以及y坐标对应于所述节点深度。

4.根据权利要求1所述的系统，其中，所述存储器存储处理器可执行代码，所述处理器可执行代码适于通过如下步骤基于DOM-树和节点列表生成信号：

从DOM-树获得节点列表，其中，所述节点列表包括DOM-树中的每个节点的节点深度；以及

基于节点列表中的叶节点以及节点深度生成1D信号，其中，每个节点对应于所述信号上的点，其中该点的x坐标对应于该节点的遍历次序，以及y坐标对应于节点深度乘以节点特性得分。

5.根据权利要求1所述的系统，其中，所述存储器存储处理器可执行代码，所述处理器可执行代码适于通过如下步骤基于DOM-树和节点列表生成信号：

从DOM-树获得节点列表，其中，所述节点列表包括DOM-树中的每个节点的节点深度；以及

基于节点列表中的叶节点以及节点深度生成2D信号，其中，每个节点对应于该信号上的点，其中该点的x坐标对应于该节点的遍历次序，y坐标对应于节点深度，以及z坐标基于节点特性得分。

6.根据权利要求1所述的系统，其中，所述存储器存储处理器可执行代码，所述处理器可执行代码适于使用时间-频率分析技术来分析信号，所述时间-频率分析技术诸如快速傅立叶变换、数字小波变换或自相关。

7.根据权利要求1所述的系统，其中，通过过滤掉不传达任何信息或不满足特定阈值的节点，来形成周期波。

8.一种用于检测网页上的重复模式的方法，所述方法包括：

从由web浏览器或网页再现工具再现的网页，生成DOM-树；

基于DOM-树和节点列表生成信号；

分析所述信号；

在所述信号中选择节点以形成周期波；以及

使用所述周期波和所述节点来检测重复模式。

9.根据权利要求8所述的方法，其中，所述节点列表包括DOM-树中的每个节点的节点深度。

10.根据权利要求8所述的方法，其中，基于DOM-树和节点列表生成信号包括：

从DOM-树获得节点列表，其中，所述节点列表包括DOM-树中的每个节点的节点深度；以及

基于节点列表中的叶节点以及节点深度生成1D信号，其中，每个节点对应于所述信号上的点，其中该点的x坐标对应于该节点的遍历次序以及y坐标对应于节点深度。

11.根据权利要求8所述的方法，其中，基于DOM-树和节点列表生成信号包括：

从DOM-树获得节点列表，其中，所述节点列表包括DOM-树中的每个节点的节点深度；以及

基于节点列表中的叶节点以及节点深度生成1D信号，其中，每个节点对应于所述信号上的点，其中该点的x坐标对应于该节点的遍历次序以及y坐标对应于节点深度乘以节点特性得分。