[发明专利]网页正文抽取方法及装置在审
| 申请号： | 201710581171.1 | 申请日： | 2017-07-17 |
| 公开（公告）号： | CN107463634A | 公开（公告）日： | 2017-12-12 |
| 发明（设计）人： | 晋彤;李永康 | 申请（专利权）人： | 广州特道信息科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 广州三环专利商标代理有限公司44202 | 代理人： | 梁顺宜,郝传鑫 |
| 地址： | 510000 广东省广州市越秀*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 网页 正文 抽取 方法 装置 | ||
1.一种网页正文抽取方法，其特征在于，包括步骤：
下载网页页面，根据所述网页页面获取网页源代码，；
根据所述网页源代码创建DOM树，基于所述DOM树和所述网页页面的页面样式生成视觉树；
基于所述视觉树定位分支结点，采用优选策略在已定位的分支节点中选取正文结点；
将已选取的正文结点进行去杂质处理，从而生成所述网页页面的正文。
2.如权利要求1所述的网页正文抽取方法，其特征在于，还包括步骤：
将所述网页页面的正文进行重排段落。
3.如权利要求1所述的网评自动发布方法，其特征在于，所述去杂质处理具体为：
去除包括广告、版权信息、分类导航栏的杂质。
4.如权利要求1所述的网评自动发布方法，其特征在于，基于所述视觉树定位分支结点具体为：
通过视觉渲染引擎对所述视觉树进行渲染后定位分支结点。
5.如权利要求1所述的网评自动发布方法，其特征在于，采用优选策略在已定位的分支节点中选取正文结点具体为：
采用优选策略定位出标题节点；
基于所述标题节点自动抽取结构化信息；其中，所述结构化信息包括时间、作者和来源。
6.一种网页正文抽取装置，其特征在于，包括：
网页源代码获取模块，用于下载网页页面，根据所述网页页面获取网页源代码；
视觉树生成模块，用于根据所述网页源代码创建DOM树，基于所述DOM树和所述网页页面的页面样式生成视觉树；
正文结点获取模块，用于基于所述视觉树定位分支结点，采用优选策略在已定位的分支节点中选取正文结点；
正文获取模块，用于将已选取的正文结点进行去杂质处理，从而获得所述网页页面的正文。
7.如权利要求6所述的网页正文抽取装置，其特征在于，还包括:
段落重排模块，用于将所述网页页面的正文进行重排段落。
8.如权利要求6所述的网页正文抽取装置，其特征在于，所述正文获取模块具体用于去除包括广告、版权信息、分类导航栏的杂质。
9.如权利要求6所述的网页正文抽取装置，其特征在于，所述正文结点获取模块通过视觉渲染引擎对所述视觉树进行渲染后定位分支结点。
10.如权利要求6所述的网页正文抽取装置，其特征在于，所述正文结点获取模块具体用于采用优选策略定位出标题节点；基于所述标题节点自动抽取结构化信息；其中，所述结构化信息包括时间、作者和来源。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广州特道信息科技有限公司，未经广州特道信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201710581171.1/1.html，转载请声明来源钻瓜专利网。
