[发明专利]基于任务粒度的MapReduce报表任务执行方法有效
| 申请号： | 201310656006.X | 申请日： | 2013-12-05 |
| 公开（公告）号： | CN103699441B | 公开（公告）日： | 2017-07-18 |
| 发明（设计）人： | 邹瑜斌;张帆;白雪;闫茜;须成忠 | 申请（专利权）人： | 深圳先进技术研究院 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50 |
| 代理公司： | 深圳市科进知识产权代理事务所(普通合伙)44316 | 代理人： | 沈祖锋,郝明琴 |
| 地址： | 518055 广东省深圳*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于任务粒度的MapReduce报表任务执行方法，包括以下步骤S10、验证数据报表任务Jobi的合法性以及优先级，将数据报表任务放入Job队列中；S20、基于最小粒度分割，依次对每一Jobi进行子任务划分，得到包含所有子任务的集合Set1；S30、去除集合Set1中重复的子任务，得到集合Set2；S40、对集合Set2中的子任务进行最大粒度合并，得到集合Set3；S50、根据hadoop即时计算能力以及集合Set3的子任务数量创建运算单元；S60、由运算单元执行集合Set3的子任务。本发明可以自适应寻找报表计算任务队列中的可复用的子任务，并执行分割和合并，有效提高计算效率。 | ||
| 搜索关键词： | 基于 任务 粒度 mapreduce 报表 执行 方法 | ||
【主权项】：
一种基于任务粒度的MapReduce报表任务执行方法，包括以下步骤：S10、验证数据报表任务Jobi的合法性以及优先级，将数据报表任务放入Job队列中，其中，1≤i≤K，K为所述数据报表任务的个数；S20、基于最小粒度分割，依次对每一Jobi进行子任务划分，得到包含所有子任务的集合Set1；S30、去除集合Set1中重复的子任务，得到集合Set2；S40、对集合Set2中的子任务进行最大粒度合并，得到集合Set3，其中，每一Jobi依赖于集合Set3中的若干子任务，所述最大粒度合并具体为：找出jobi中多次同时出现的多个子任务或在jobi中同时出现只出现一次的多个子任务，并将所述多个子任务分别进行合并；S50、根据Hadoop即时计算能力以及集合Set3的子任务数量创建运算单元；S60、由所述运算单元执行集合Set3的子任务。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳先进技术研究院，未经深圳先进技术研究院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310656006.X/，转载请声明来源钻瓜专利网。
