[发明专利]基于MapReduce模型的任务执行方法和装置在审
| 申请号： | 201611132677.6 | 申请日： | 2016-12-09 |
| 公开（公告）号： | CN106648891A | 公开（公告）日： | 2017-05-10 |
| 发明（设计）人： | 傅文卿;石卫平;马宝军;许宁;侯玉娜;金潇;靳会勤;朱丹萍;谭燕燕;于秀丽;张晓宁;郭嘉;张铮;王淑玲 | 申请（专利权）人： | 中国联合网络通信集团有限公司;联通信息导航有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50 |
| 代理公司： | 北京同立钧成知识产权代理有限公司11205 | 代理人： | 杨贝贝,刘芳 |
| 地址： | 100033 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 基于 mapreduce 模型 任务 执行 方法 装置 | ||
1.一种基于MapReduce模型的任务执行方法，其特征在于，包括：
提取待执行任务的每个输入文件的键值对；
采用最大差异直方图将所述键值对划分为多个分割集合；
采用哈希一致性算法计算多个分割集合中的键值对中的键值与reduce节点的映射关系；
根据所述映射关系执行待执行任务。
2.根据权利要求1所述的方法，其特征在于，所述提取待执行任务的每个输入文件的键值对之前，还包括：
将所述待执行任务划分为多个的输入文件；
读取所述输入文件。
3.根据权利要求1或2所述的方法，其特征在于，所述采用哈希一致性算法计算多个分割集合中的键值对中的键值与reduce节点的映射关系具体包括：
对所述多个分割集合中的每个键值对进行哈希运算，生成每个键值对的键值对应的一个或多个哈希值；
对每个reduce节点的地址进行哈希运算，生成每个reduce节点对应的哈希值；
根据每个键值对的键值对应的每个哈希值和reduce节点对应的哈希值，建立每个键值对的键值和reduce节点的映射关系。
4.根据权利要求3所述的方法，其特征在于，所述根据每个键值对的键值对应的每个哈希值和reduce节点对应的哈希值，建立每个键值对的键值和reduce节点的映射关系，具体包括：
获取哈希值大于键值的哈希值的reduce节点；
查找与所述键值的哈希值的差值最小的第一reduce节点；
将所述键值映射到所述第一reduce节点上。
5.根据权利要求4所述的方法，其特征在于，所述每个reduce节点的地址为所述每个reduce节点的IP地址或MAC地址。
6.一种基于MapReduce模型的任务执行装置，其特征在于，包括：
提取模块，用于提取待执行任务的每个输入文件的键值对；
第一划分模块，用于采用最大差异直方图将所述键值对划分为多个分割集合；
计算模块，用于采用哈希一致性算法计算多个分割集合中的键值对中的键值与reduce节点的映射关系；
执行模块，用于根据所述映射关系执行待执行任务。
7.根据权利要求6所述的装置，其特征在于，还包括：
第二划分模块，用于将所述待执行任务划分为多个的输入文件；
读取模块，用于读取所述输入文件。
8.根据权利要求6或7所述的装置，其特征在于，所述计算模块，具体包括：
哈希运算子模块，用于对所述多个分割集合中的每个键值对进行哈希运算，生成每个键值对的键值对应的一个或多个哈希值；对每个reduce节点的地址进行哈希运算，生成每个reduce节点对应的哈希值；
建立子模块，用于根据每个键值对的键值对应的每个哈希值和reduce节点对应的哈希值，建立每个键值对的键值和reduce节点的映射关系。
9.根据权利要求8所述的装置，其特征在于，所述建立子模块，具体用于：
获取哈希值大于键值的哈希值的reduce节点；查找与所述键值的哈希值的差值最小的第一reduce节点；将所述键值映射到所述第一reduce节点上。
10.根据权利要求9所述的装置，其特征在于，所述每个reduce节点的地址为所述每个reduce节点的IP地址或MAC地址。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国联合网络通信集团有限公司;联通信息导航有限公司，未经中国联合网络通信集团有限公司;联通信息导航有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201611132677.6/1.html，转载请声明来源钻瓜专利网。
