[发明专利]网页内容自动提取方法

权利要求书

1.一种网页内容自动提取方法，其特征在于，包括：

S1、将HTML重新渲染

首先建立HTML文档的DOM树与渲染树，再根据所述DOM树与渲染树对每个视觉块进行重新渲染，将img标签重新渲染成一个任意的几何图形，将p、div、a标签的每一行也重新渲染成一个任意的几何图形；

S2、对DOM树进行分割

首先、按照广度优先顺序从根结点开始遍历DOM树，直到找到子结点数大于1的结点；对该结点进行横向分割，然后选择该结点下的子结点中方向为纵向的结点；

其次、对所述方向为纵向的结点进行一次以上的纵向分割，然后选择该结点下的子结点中视觉块面积最大的结点；

最后、对所述视觉块面积最大的结点再进行横向分割，得到若干侯选视觉块；

所述结点的分割方法为：先通过快速傅里叶变换得到视觉块的频域表示，再采用一组正交的对数盖伯滤波分离视觉块频域表示的水平和垂直分量，最后对比视觉块的水平和垂直分量确定视觉块的方向；

S3、对侯选视觉块进行预标注

通过启发式算法或/和关键词频率算法给予每个侯选视觉块对应的预标注标签，所有的预标注标签组成一个预标注标签集合；

S4、对侯选视觉块进行标注

通过概率图模型对每个候选视觉块进行标注，得到对应的标注标签；将所有的标注标签一一与预标注标签集合匹配，筛选出落在预标注标签集合内的标注标签。

2.根据权利要求1所述的网页内容自动提取方法，其特征在于，所述DOM树与渲染树只包含img、p、div、a标签。

3.根据权利要求1所述的网页内容自动提取方法，其特征在于，所述几何图形为一组纵横相交线段。

4.根据权利要求1所述的网页内容自动提取方法，其特征在于，所述几何图形为圆形或者椭圆形。

5.根据权利要求1所述的网页内容自动提取方法，其特征在于，所述几何图形为正多边形。