[发明专利]基于任务粒度的MapReduce报表任务执行方法有效
| 申请号： | 201310656006.X | 申请日： | 2013-12-05 |
| 公开（公告）号： | CN103699441B | 公开（公告）日： | 2017-07-18 |
| 发明（设计）人： | 邹瑜斌;张帆;白雪;闫茜;须成忠 | 申请（专利权）人： | 深圳先进技术研究院 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50 |
| 代理公司： | 深圳市科进知识产权代理事务所(普通合伙)44316 | 代理人： | 沈祖锋,郝明琴 |
| 地址： | 518055 广东省深圳*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 基于 任务 粒度 mapreduce 报表 执行 方法 | ||
1.一种基于任务粒度的MapReduce报表任务执行方法，包括以下步骤：
S10、验证数据报表任务Jobi的合法性以及优先级，将数据报表任务放入Job队列中，其中，1≤i≤K，K为所述数据报表任务的个数；
S20、基于最小粒度分割，依次对每一Jobi进行子任务划分，得到包含所有子任务的集合Set1；
S30、去除集合Set1中重复的子任务，得到集合Set2；
S40、对集合Set2中的子任务进行最大粒度合并，得到集合Set3，其中，每一Jobi依赖于集合Set3中的若干子任务，所述最大粒度合并具体为：找出jobi中多次同时出现的多个子任务或在jobi中同时出现只出现一次的多个子任务，并将所述多个子任务分别进行合并；
S50、根据Hadoop即时计算能力以及集合Set3的子任务数量创建运算单元；
S60、由所述运算单元执行集合Set3的子任务。
2.根据权利要求1所述的基于任务粒度的MapReduce报表任务执行方法，其特征在于，将集合Set3子任务的执行结果存入缓存池中。
3.根据权利要求2所述的基于任务粒度的MapReduce报表任务执行方法，其特征在于，在所述缓存池中对集合Set3的子任务进行检索，若相应子任务执行结果已存在，则不创建相应子任务的运算单元；若相应子任务执行结果不存在，则创建相应子任务的运算单元。
4.根据权利要求1至3任意一项所述的基于任务粒度的MapReduce报表任务执行方法，其特征在于，所述运算单元为线程或者进程。
5.根据权利要求1所述的基于任务粒度的MapReduce报表任务执行方法，其特征在于，集合Set3中的每一子任务为集合Set2中若干子任务的并集。
6.根据权利要求1所述的基于任务粒度的MapReduce报表任务执行方法，其特征在于，所述运算单元与集合Set3的子任务一一对应。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳先进技术研究院，未经深圳先进技术研究院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201310656006.X/1.html，转载请声明来源钻瓜专利网。
