[发明专利]一种网页去重的方法无效
| 申请号： | 201210114263.6 | 申请日： | 2012-04-18 |
| 公开（公告）号： | CN102682085A | 公开（公告）日： | 2012-09-19 |
| 发明（设计）人： | 李鹏 | 申请（专利权）人： | 北京十分科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 100004 北京市朝*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 网页 方法 | ||
1.一种网页去重的方法，其特征在于，包括以下步骤：
A、提取网页正文信息；
B、对所述网页正文信息进行分词处理；
C、对分词处理结果进行统计，并按照词频排序；
D、将词频超过预设值的词选取出来，作为特征词结果串；
E、对所述特征词结果串进行MD5运算，作为所述网页的唯一特征值；
F、将所述特征词结果串的MD5值与特征串去重判别系统中的所有网页的特征词结果串的MD5值进行比对，如果相同，则去重，如果没有相同的，则将所述网页的特征词结果串的MD5值存储到所述特征串去重判别系统。
2.根据权利要求1所述的一种网页去重的方法，其特征在于，步骤E还包括以下步骤：
将特征词结果串中每个特征词都进行MD5计算；
步骤F中，先采用所述特征词结果串的MD5值进行比对，再在比对结果中采用特征词结果串中每个特征词的MD5值进行比对。
3.根据权利要求1或者2所述的一种网页去重的方法，其特征在于，所述特征串去重判别系统中的所有网页的特征词结果串的MD5值采用哈希表方式存储。
4.根据权利要求1所述的一种网页去重的方法，其特征在于，步骤B中，根据专业词典和通用词典的集合，采用正向最大匹配分词算法对所述网页正文信息进行分词处理。
5.根据权利要求1所述的一种网页去重的方法，其特征在于，步骤C中，采用字典树的数据结构对分词处理结果进行统计。
6.根据权利要求1或者5所述的一种网页去重的方法，其特征在于，步骤C中，采用内部快排的处理方法对统计结果进行排序处理，按词出现频率由高到低排列。
7.根据权利要求4所述的一种网页去重的方法，其特征在于，对专业词进行加权，再进行词频排序。
8.根据权利要求1所述的一种网页去重的方法，其特征在于，步骤F中，将去重结果以哈希表的方式存储到所述特征串去重判别系统。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京十分科技有限公司，未经北京十分科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201210114263.6/1.html，转载请声明来源钻瓜专利网。
