[发明专利]文本消重系统和方法有效
| 申请号： | 201210227111.7 | 申请日： | 2012-06-29 |
| 公开（公告）号： | CN102779188A | 公开（公告）日： | 2012-11-14 |
| 发明（设计）人： | 卢宏林 | 申请（专利权）人： | 北京奇虎科技有限公司;奇智软件（北京）有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京路浩知识产权代理有限公司 11002 | 代理人： | 王莹 |
| 地址： | 100088 北京北京市西城区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 文本 系统 方法 | ||
1.一种文本消重系统，其特征在于，所述系统包括：
分割模块，适于将目标文本和待比较文本依据分割符号分割成分割段，并将目标文本和待比较文本的分割段按相同的方式组成序列；
哈希值计算模块，适于在目标文本中选定目标序列，计算出目标序列的哈希值以及待比较文本中全部或部分序列的哈希值；
消重模块，适于将所述比较序列的哈希值依次与待比较文本中序列的哈希值相比较，如果存在相同的哈希值，则执行消重操作。
2.如权利要求1所述的系统，其特征在于，所述分割符号包括ASCII码中的符号和/或中文全角/半角标点符号。
3.如权利要求1所述的系统，其特征在于，所述分割符号为一个或一个以上。
4.如权利要求1所述的系统，其特征在于，所述消重模块进一步包括：
文本标记单元，适于对重复的文本标记重复记号；和/或
文本删除单元，适于对重复的文本进行删除操作。
5.如权利要求1所述的系统，其特征在于，所述序列由一个分割段或两个以上连续的分割段组成。
6.如权利要求1所述的系统，其特征在于，所述待比较文本如果只计算部分序列的哈希值，则目标序列在目标文本中的选定位置与待比较文本中部分序列的位置相对应。
7.如权利要求1所述的系统，其特征在于，所述分割模块进一步包括分割段阈值设定模块，适于依据统计数据获得组成序列的分割段数量。
8.如权利要求1或7所述的系统，其特征在于，所述消重模块进一步包括一多目标序列比较单元，适于当所述目标序列的个数大于1时，依次将每个目标序列的哈希值与待比较文本中的序列相比较。
9.一种文本消重方法，其特征在于，所述方法包括：
将目标文本和待比较文本依据分割符号分割成分割段，并将目标文本和待比较文本的分割段按相同的方式组成序列；
在目标文本中选定目标序列，计算出目标序列的哈希值以及待比较文本中全部或部分序列的哈希值；
将所述比较序列的哈希值依次与待比较文本中序列的哈希值相比较，如果存在相同的哈希值，则执行消重操作。
10.如权利要求9所述的方法，其特征在于，所述分割符号包括ASCII码中的符号和/或中文全角/半角标点符号。
11.如权利要求9所述的方法，其特征在于，所述分割符号为一个或一个以上。
12.如权利要求9所述的方法，其特征在于，所述执行消重操作进一步包括：
对重复的文本标记重复记号；和/或
对重复的文本进行删除操作。
13.如权利要求9所述的方法，其特征在于，所述序列由一个分割段或两个以上连续的分割段组成。
14.如权利要求9所述的方法，其特征在于，所述待比较文本如果只计算部分序列的哈希值，则目标序列在目标文本中的选定位置与待比较文本中部分序列的位置相对应。
15.如权利要9所述的方法，其特征在于，所述组成序列的分割段数量依据统计数据获得。
16.如权利要求9或15所述的方法，其特征在于，所述将所述比较序列的哈希值依次与待比较文本中序列的哈希值相比较进一步包括，当所述目标序列的个数大于1时，依次将每个目标序列的哈希值与待比较文本中的序列相比较。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司;奇智软件（北京）有限公司，未经北京奇虎科技有限公司;奇智软件（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201210227111.7/1.html，转载请声明来源钻瓜专利网。
