[发明专利]一种网页去重的方法无效
| 申请号： | 201210114263.6 | 申请日： | 2012-04-18 |
| 公开（公告）号： | CN102682085A | 公开（公告）日： | 2012-09-19 |
| 发明（设计）人： | 李鹏 | 申请（专利权）人： | 北京十分科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 100004 北京市朝*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种网页去重的方法，首先提取网页正文信息，对网页正文信息进行分词处理，对分词处理结果进行统计，并按照词频排序，将词频超过预设值的词选取出来，作为特征词结果串，对特征词结果串进行MD5运算，作为网页的唯一特征值，将特征词结果串的MD5值与特征串去重判别系统中的所有网页的特征词结果串的MD5值进行比对，如果相同，则去重，如果没有相同的，则将该网页的特征词结果串的MD5值存储到特征串去重判别系统。采用了本发明的技术方案，能够有效地去除现有系统的转载网页、重复网页和镜像网页。 | ||
| 搜索关键词： | 一种 网页 方法 | ||
【主权项】：
一种网页去重的方法，其特征在于，包括以下步骤：A、提取网页正文信息；B、对所述网页正文信息进行分词处理；C、对分词处理结果进行统计，并按照词频排序；D、将词频超过预设值的词选取出来，作为特征词结果串；E、对所述特征词结果串进行MD5运算，作为所述网页的唯一特征值；F、将所述特征词结果串的MD5值与特征串去重判别系统中的所有网页的特征词结果串的MD5值进行比对，如果相同，则去重，如果没有相同的，则将所述网页的特征词结果串的MD5值存储到所述特征串去重判别系统。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京十分科技有限公司，未经北京十分科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201210114263.6/，转载请声明来源钻瓜专利网。
