[发明专利]一种适用于网格环境的基于可靠性代价的作业调度系统

说明书

技术领域

本发明属于网格计算领域，具体涉及一种适用于网格环境的基于可靠性代价的作业调度系统。

背景技术

网格整合了分布在Internet上动态的、自治的、异构的网络资源(包括高速互联网、计算机、大型数据库、传感器、远程设备等)，它屏蔽了资源的动态性、异构性和分布性，为用户提供一种高效的资源共享和协同工作环境。网格技术一经提出，便吸引了学术界和工业界的极大重视，并取得了飞速的发展。网格区别于传统分布式高性能计算的优势如下：(1)有效利用广域分布的资源；(2)实现异构组织间的高效协作；(3)有效解决计算密集性和数据密集性任务；(4)基于OGSA的思想使得工作流更趋于“服务流”。网格为复杂的、庞大的科研任务提供了有效的问题解决途径，例如：飞行器设计、基因排序、大气环境分析等。

网格资源多属于不同的组织机构，大部分资源是非专有资源，可以动态加入和离开。另外，资源共享模式的改变、软硬件故障以及网络瘫痪都可以导致网格资源的不可用。因此资源的动态性导致网格作业失败频繁发生，用户服务质量无法保证。因此，网格环境下的作业调度面临许多新的挑战。因此，为了更好地发挥网格的丰富资源和可扩展性等优点，建立可靠地作业调度成为网格系统性能好坏的关键所在。

网格资源以服务形式呈现给用户，用户通过向网格系统提交作业来享用各种网格资源。网格作业调度系统在接收到用户的作业后，根据用户的QoS要求与信息中心进行交互，匹配出合格的网格服务资源集。然后，作业调度系统根据特定的调度策略，为用户作业选择最佳的资源。现有的作业调度策略多基于性能驱动模型、经济驱动模型和信任驱动模型[参见K.Krauter，R.Buyya，and M.Maheswaran，A Taxonomy and Survey of Grid Resource Management Systemsfor Distributed Computing，Software Practice and Experience，32(2)：135-164，February 2002.]。性能驱动模型侧重于提高系统吞吐率、作业执行效率等性能相关指标；经济驱动模型侧重于在满足用户QoS需求的前提下，选择收费最低的资源服务；信任驱动模型则是根据资源的历史服务情况(譬如：资源故障率、运行作业成功率等)为每个资源建立信任模型，基于该模型，进行可信任的作业调度。当作业执行过程中因资源故障或其他原因中断时，系统采取一定的容错策略。目前常用的容错策略有：检查点、多点复制和重试等。检查点策略定期地保存作业的运行结果及状态，当资源发生故障时，系统将作业回滚到故障前系统记录的检查点，经过状态恢复后从该检查点处重新执行，而不是从头开始执行，从而节省了资源并降低了作业的丢失率；多点复制策略把作业同时调度到两个以上不同的资源节点执行，只要有一个资源节点正常运行，就可以保证作业成功执行；重试策略即在作业发生故障时，将作业再调度，作业可以调度到本资源节点或者其他资源节点。

传统的作业调度系统没有充分考虑网格环境下资源的动态性，造成作业故障频繁发生。另外，传统的调度系统多采用单一的容错机制，缺乏灵活性，并且浪费系统资源。

发明内容

本发明的目的是针对现有作业调度系统的不足，提供了一种适用于网格环境的基于可靠性代价的作业调度系统，该系统充分考虑了作业的QoS请求和资源可靠性，自动地为作业采用合适的容错策略，并具有效率高和通用性好的特点。

为实现上述发明目的，适用于网格环境的基于可靠性代价的作业调度系统，其特征在于：它包括作业提交接口模块和作业调度模块；

作业提交接口模块用于用户提交作业，并传送给作业调度模块；

作业调度模块用于接收作业提交接口模块提交的作业，进行调度和容错策略定制后，将作业分配到网格资源平台中相应的资源节点；它包括预调度模块、调度决策模块、作业完成时间预测模块和资源信息模块；

预调度模块通过对作业的服务质量需求进行分析，对用户作业进行分类排队；预调度模块接收作业提交模块传送来的作业，并与作业完成时间预测模块进行交互，根据作业完成时间预测模块的预测信息对作业进行分类排队；预调度模块同时作为调度决策模块的作业池，为调度决策模块提供作业；

作业完成时间预测模块用于对每个作业在各资源节点上的完成时间进行预测；作业完成时间预测模块接受预调度模块和调度决策模块的作业完成时间预测请求，在进行预测后，将预测结果分别返回至预调度模块和调度决策模块；作业完成时间预测模块与资源信息模块进行交互，作业完成时间预测模块通过资源信息模块查询各资源的性能信息；