[发明专利]面向大数据平台基于最大化收益的MapReduce作业调度方法及装置

说明书

本发明公开了一种云服务商奖惩收益模式下的MapReduce作业调度方法和装置，所述方法包括以下步骤：接收用户提交的作业，获取每个作业每一轮Map任务和Reduce任务的执行时间，以及任务数量；根据每个作业的Map和Reduce任务执行时间和任务数量，根据奖惩收益模式，确定出每个作业在不同奖惩阶段的最大轮数组合方案集以及最大标准时间；根据奖惩收益模式，基于每个作业的最大轮数方案获取作业调度策略。本发明根据服务商收益最大化的目标对作业的收益与赔付代价进行衡量评估，满足服务商最大收益、平台最大资源利用以及作业最短完成时间的作业调度目标。

技术领域

本发明属于云平台作业调度优化领域，具体涉及一种云服务商奖惩收益模式下的MapReduce作业调度方法和装置。

背景技术

近些年，随着各种各样的数据呈现出爆炸式的增长趋势，对于海量数据更高效的分析和处理需求也越来越迫切。传统的数据处理技术和工具已无法满足当前的分析和处理需求，因此新出现的大数据计算平台为解决新需求提供了强有力的支撑。由于大量数据的高效处理要求与处理成本之间的矛盾关系，从而产生了大数据计算平台服务提供商为用户提供便捷和较低成本的计算服务。服务商依据现有的大数据技术建立了可以公用的大数据计算平台，用户只需要向计算平台提交自定义的作业，按照服务商与用户签订的服务等级协议(Service Level Agreement,SLA)规定服务的具体细节。通常SLA中定义了服务类型、服务质量以及收益模式等内容。常见的服务商收益模式主要是用户按完成效果付费或称为按完成时限付费，即用户在提交作业的同时也给出完成时间的要求，服务商只有在规定时间完成该作业才能获得相应额报酬，否则将会按照协议中签订的要求进行赔偿。然而在多用户共享平台资源的条件下，会出现平台资源利用率最大化与最大程度满足用户Qos需求的矛盾，这样会使得服务商无法获得最大收益，同时也会导致平台资源利用率降低，所以平台服务商制定高效的作业调度策略就显得尤为重要。

由于本文针对的研究对象主要是在平台现有的计算资源条件下，多用户提交的大量有截止时间的离线作业，所以在满足原有收益模式的前提下，用户提交的作业包括以下部分：1)用户自定义的应用程序，即提交作业的具体内容；2)每个作业的截止时间，即用户对作业最终完成时间的要求；3)服务商在指定时间内完成每个作业可获得的收益；4)作业完成时间超过了截止时间时服务商将会按照收益的比例进行赔偿。基于原有收益模式策略和现有的作业调度策略，服务商没有考虑到用户对于作业截止时间的准确考量和对于作业执行的迫切性需求，并且也没有考虑作业调度结果对平台资源利用率的影响。

如何在一定的大数据计算资源环境下，制定高效的作业调度策略使得服务商能够获得最大收益的同时，为用户确定每个作业较准确的完成时间，以及达到平台资源利用率最大的要求，尚缺乏有效的解决方案。

发明内容

为克服上述现有技术的不足，本发明在Hadoop2.x的Yarn资源管理系统的基础上提出了一种云服务商奖惩收益模式下的MapReduce作业调度方法，根据服务商收益最大化的目标对作业的收益与赔付代价进行衡量评估，经过整体收益权衡后选择放弃一些收益较小，赔付代价较小的作业，满足服务商最大收益、平台最大资源利用以及作业最短完成时间的作业调度目标。该方法能够根据用户提交的作业信息和集群中已有的资源信息，将当前所有用户提交的作业生成相应的作业调度策略。具体任务分配方法仍然遵循MapReduce的动态分配原则，因此不会对MapReduce中负载均衡等其他性能特性造成影响。

为实现上述目的，本发明采用如下技术方案：

一种云服务商奖惩收益模式下的MapReduce作业调度方法，包括以下步骤：

接收用户提交的作业，获取每个作业每一轮Map任务和Reduce任务的执行时间，以及任务数量；

根据每个作业的Map和Reduce任务执行时间和任务数量，根据奖惩收益模式，确定出每个作业在不同奖惩阶段的最大轮数组合方案集以及最大标准时间；