[发明专利]一种页面内容提取方法和装置

权利要求书

1.一种页面内容提取方法，其特征在于，包括：

获取页面对应的目标文档对象模型DOM树；

从所述目标DOM树的根元素节点开始，针对所述目标DOM树中的元素节点执行渲染区域去重处理，得到去重DOM树；

在所述去重DOM树中，提取每个元素节点的视觉特征；

解析并且执行预设的接口模板，通过所述接口模板从多个所述视觉特征中提取所述页面的页面内容；其中，所述接口模板中设置了用于匹配所述页面内容的内容提取条件。

2.根据权利要求1所述的方法，其特征在于，在所述目标DOM树中，提取展示类的元素节点的视觉特征之前，还包括：

将所述页面解析为DOM树；

在所述DOM树中，确定一个目标元素节点；

在所述DOM树中，获取目标DOM树；其中，所述目标DOM树的根元素节点为所述目标元素节点。

3.根据权利要求1所述的方法，其特征在于，所述针对所述目标DOM树中的元素节点执行渲染区域去重处理，得到去重DOM树，包括：

从所述目标DOM树的根元素节点开始，针对所述目标DOM树中的每个父元素节点执行以下操作，得到去重DOM树：

比较所述父元素节点以及所述父元素节点的子元素节点；

在所述父元素节点的渲染区域和所述子元素节点的渲染区域相同时，在所述目标DOM树中舍弃所述父元素节点；

在所述父元素节点的渲染区域覆盖所述子元素节点的渲染区域，并且所述父元素节点仅有所述子元素节点为文本语义类型时，在所述目标DOM树中舍弃所述子元素节点。

4.根据权利要求1所述的方法，其特征在于，所述在所述去重DOM树中，提取元素节点的视觉特征，包括：

针对所述去重DOM树中的每个元素节点执行下钻操作，以便确定所述元素节点对应的视觉特征；

其中，所述元素节点对应的视觉特征包括：所述元素节点对应的信息块，或者，所述元素节点对应的信息块集合；所述元素节点对应的信息块集合包括：所述元素节点的每个子元素节点对应的信息块或者信息块集合；信息块所述信息块是根据所述信息块对应的元素节点的属性信息构建的。

5.根据权利要求4所述的方法，其特征在于，所述针对所述去重DOM树中的每个元素节点执行下钻操作，包括：

在所述元素节点为文本节点或者叶子节点时，根据所述元素节点的属性信息，构建所述元素节点对应的信息块；

在所述元素节点存在至少一个子元素节点时，为所述元素节点构建信息块集合，并针对所述元素节点执行以下操作：

在所述元素节点的子元素节点为文本节点时，根据所述子元素节点的属性信息，构建所述子元素节点对应的信息块，并将所述子元素节点对应的信息块添加到所述元素节点对应的信息块集合中；

在所述元素节点的子元素节点为文本语义类型时，或者，在所述元素节点的子元素节点为非文本语义类型并且所述子元素节点的渲染区域未被遮挡时，为所述子元素节点构建信息块集合，针对所述子元素节点执行所述下钻操作，直到所述下钻操作的对象为叶子节点为止，将所述子元素节点对应的信息块集合添加到所述元素节点对应的信息块集合中。

6.根据权利要求5所述的方法，其特征在于，

在所述构建所述元素节点对应的信息块之后，还包括：

根据所述元素节点的节点类型，为所述元素节点对应的信息块标记信息块类型；其中，所述信息块类型用于作为所述内容提取条件中的约束条件；

在所述构建所述子元素节点对应的信息块之后，还包括：

根据所述子元素节点的节点类型，为所述子元素节点对应的信息块标记信息块类型。