[发明专利]一种基于分块的网页正文信息提取方法在审
| 申请号： | 201710349695.8 | 申请日： | 2017-05-17 |
| 公开（公告）号： | CN108509469A | 公开（公告）日： | 2018-09-07 |
| 发明（设计）人： | 姚国平 | 申请（专利权）人： | 苏州纯青智能科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京华识知识产权代理有限公司 11530 | 代理人： | 陈敏 |
| 地址： | 215400 江苏省苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 分块 信息提取 网页正文 标签树 内容块 网页 复杂结构 特征分析 网页分割 网页分块 页面分块 重要度 成块 算法 标准化 分析 | ||
1.一种基于分块的网页正文信息提取方法，其特征在于：包括以下步骤：
网页标准化：首先对HTML代码进行预处理，将其标准化；
构造标签树：将整理好的规范网页构造标签树，将网页中的标签按照嵌套关系整理成一棵树状结构，在构造的过程中保留每个节点的视觉属性，同时，对标签树做裁剪，将无关节点删除；
将网页分割成块，依据网页中内容块标签作为容器标签对网页进行划分；
a、通过统计标签树上的各种容器标签的数量进行统计，判断网页是采用哪种容器标签来做布局；
b、考察最底层容器标签节点，将标签树最底层的节点下的所有文本节点合并，并统计该块的信息含量，同时考察视觉特征；
c、考察每个底层节点的上一层节点，并计算该节点的信息含量，判断该节点能否成为分块节点；
提取含有正文的块
分块结束后，对内容块根据用户的不同需要进行取舍，取出含有正文信息的内容块。
2.根据权利要求1所述一种基于分块的网页正文信息提取方法，其特征在于：所述步骤中构造标签树的方法采用DOM标签树构造工具。
3.根据权利要求1所述一种基于分块的网页正文信息提取方法，其特征在于：所述步骤中依据网页中内容块标签作为容器标签对网页进行划分，其它类型的标签信息作为所在内容块的属性。
4.根据权利要求1所述一种基于分块的网页正文信息提取方法，其特征在于：所述视觉特征包括表格的大小、位置、字体的大小和颜色、以及段落的长短。
5.根据权利要求1所述一种基于分块的网页正文信息提取方法，其特征在于：所述步骤中，依据内容块的重要度以及块特征对内容块进行取舍。
6.根据权利要求5所述一种基于分块的网页正文信息提取方法，其特征在于：所述块特征包括空间特征和内容特征，所述空间特征包括内容块的位置和大小，内容特征包括文字长度、链接数量和图片数量。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于苏州纯青智能科技有限公司，未经苏州纯青智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201710349695.8/1.html，转载请声明来源钻瓜专利网。
