[发明专利]基于Yarn框架的资源共享控制系统

摘要

本发明提供一种基于Yarn框架的资源共享控制系统，该控制系统包括客户端、资源管理模块、至少一个应用管理模块和资源调度模块；其中，所述资源管理模块可根据所述客户端发送的第一任务请求，启动对应于所述任务标识的应用管理模块，并向所述应用管理模块发送所述第一任务请求；所述应用管理模块用于根据所述资源需求信息向所述资源调度模块申请运行所述第一任务所需的可用资源；所述资源调度模块用于向所述第一任务提供所述可用资源，所述可用资源与共享资源中的其他资源具有隔离性。通过本发明提供的资源共享的控制方法和系统，可优化任务对共享资源的使用，避免任务之间出现的资源竞争及性能干扰。

主权项

一种基于Yarn框架的资源共享控制系统，其特征在于，所述控制系统包括：客户端、资源管理模块、至少一个应用管理模块和资源调度模块；其中，所述资源管理模块用于接收所述客户端发送的第一任务请求，所述任务请求包括任务标识和任务的资源需求信息；根据所述任务标识包含的任务类型，在至少一个应用管理模块中启动对应于所述任务类型的应用管理模块，并向所述应用管理模块发送所述第一任务请求；所述应用管理模块用于根据所述资源需求信息向所述资源调度模块申请运行所述第一任务所需的可用资源；所述资源调度模块用于向所述第一任务提供所述可用资源，所述可用资源与共享资源中的其他资源具有隔离性；所述控制系统还包括自适应模块；所述自适应模块用于获取所述第一任务的当前运行信息；根据所述第一任务的当前运行信息，若判断所述第一任务运行异常，则针对所述第一任务调整所述可用资源；所述自适应模块具体用于将所述第一任务的当前运行信息与至少一个第二任务的当前运行信息比较，若判断所述第一任务处于横向异常状态，则比较所述第一任务的当前运行信息与所述第一任务的历史运行信息；若判断所述第一任务处于纵向异常状态，则采用第一方案调整所述可用资源；若判断所述第一任务未处于纵向异常状态且持续处于横向异常状态，则采用第二方案调整所述可用资源；其中所述第一任务与所述第二任务为相同类型的任务。