[发明专利]一种去重方法及系统在审
| 申请号： | 201310478890.2 | 申请日： | 2013-10-14 |
| 公开（公告）号： | CN103530369A | 公开（公告）日： | 2014-01-22 |
| 发明（设计）人： | 郭美思;何志平;吴楠 | 申请（专利权）人： | 浪潮（北京）电子信息产业有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京安信方达知识产权代理有限公司 11262 | 代理人： | 王丹;栗若木 |
| 地址： | 100085 北京市海*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种去重方法，包括：获取存储于Hadoop集群系统中的任意一个或多个节点中，或者分布于任意网络资源中的URL数据；按照Hadoop集群系统的映射框架中所指定的输入类格式，对获得的URL数据进行映射处理；按照Hadoop集群系统中的归约框架中所指定的类格式，对映射处理的结果进行归约处理，归约处理的结果为对URL去重的结果；其中映射处理在Hadoop集群系统的一个或多个节点中执行，归约处理在Hadoop集群系统的一个或多个节点中执行，映射处理和归约处理分别在Hadoop集群系统的一个或多个节点中并发、或顺序执行。 | ||
| 搜索关键词： | 一种 方法 系统 | ||
【主权项】：
一种去重方法，其特征在于，包括：获取存储于Hadoop集群系统中的任意一个或多个节点中，或者分布于任意网络资源中的URL数据；按照所述Hadoop集群系统的映射框架中所指定的输入类格式，对获得的URL数据进行映射处理；按照所述Hadoop集群系统的归约框架中指定的类格式，对所述映射处理的结果进行归约处理；其中，所述映射处理在所述Hadoop集群系统的一个或多个节点中执行，所述归约处理在所述Hadoop集群系统的一个或多个节点中执行，所述映射处理和所述归约处理分别在所述Hadoop集群系统的一个或多个节点中并发、或顺序执行。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浪潮（北京）电子信息产业有限公司，未经浪潮（北京）电子信息产业有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310478890.2/，转载请声明来源钻瓜专利网。
