[发明专利]基于DOM节点文本密度的网页核心块确定方法无效
| 申请号： | 201110096132.5 | 申请日： | 2011-04-18 |
| 公开（公告）号： | CN102184189A | 公开（公告）日： | 2011-09-14 |
| 发明（设计）人： | 孙飞;宋丹丹;廖乐健;王晓华 | 申请（专利权）人： | 北京理工大学 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 100081 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 基于 dom 节点 文本 密度 网页 核心 确定 方法 | ||
1.一种基于DOM节点文本密度的网页核心块确定方法，包括以下步骤：
步骤一、解析HTML网页，生成DOM树，使每一个HTML标签对应于DOM树中的一个节点，网页中的文字内容则是DOM树的叶子节点；
步骤二、为每个节点添加4个统计信息：
(1)Chars：节点所包含的所有文本字符的个数；
(2)Tags：节点所包含的所有标签的个数；
(3)LinkChars：节点所包含的所有超链接文本字符个数；
(4)LinkTags：节点所包含的所有超链接个数；
对于每一个节点，定义其文本密度如下：
若i是网页中的一个标签，即i对应于DOM树中的一个节点，则标签i的文本密度为：
其中，Ci表示标签i对应的Chars，Ti表示标签i对应的Tags，LCi表示标签i对应的LinkChars，表示标签i所含的所有非超链接字符的个数即Chars与LinkChars的差值；LTi表示标签i对应的LinkTags，LCb表示<body>标签对应的LinkChars；Cb表示<body>标签对应的Chars；
步骤三、根据DOM树中节点的文本密度确定网页核心块。
2.根据权利要求1所述的一种基于DOM节点文本密度的网页核心块确定方法，其特征在于，在步骤一中，以<body>为起始标签。
3.根据权利要求1或2所述的一种基于DOM节点文本密度的网页核心块确定方法，其特征在于，利用节点文本密度值的高低作为是否是核心块的判断依据，根据对文本密度值的统计定义一个阈值，如果其高于阈值，则认为为核心块；反之，则认为是噪声数据。
4.根据权利要求3所述的一种基于DOM节点文本密度的网页核心块确定方法，其特征在于，将<body>的文本密度作为阈值来区分核心块和噪声数据。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京理工大学，未经北京理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201110096132.5/1.html，转载请声明来源钻瓜专利网。
- 上一篇：双缸风冷中型超静音汽油发电机组
- 下一篇：可以电加热的陶器、瓷器
