[发明专利]电商平台作业调度方法及系统

权利要求书

1.一种电商平台作业调度方法，其特征在于，包括如下步骤：

提供一待执行作业；

获取执行所述待执行作业所需的资源空间评估值；

设置多个资源组，多个所述资源组与多个作业类型一一对应，每一所述资源组用于执行相应作业类型的作业，多个作业类型包括Vertica、Hive、Spark、MapReduce中的多个；

选择与所述待执行作业匹配的资源组作为目标资源组；

判断所述目标资源组的剩余资源空间是否大于所述资源空间评估值，若是，则将所述待执行作业分配至所述目标资源组，并进行资源调度，以开始执行所述待执行作业，若否，则将所述待执行作业按照预先设定的优先级顺序加入到所述目标资源组的作业等待队列中。

2.根据权利要求1所述的电商平台作业调度方法，其特征在于，选择与所述待执行作业匹配的资源组作为目标资源组之前还包括如下步骤：

判断所述待执行作业是否满足触发条件，若是，则选择与所述待执行作业匹配的资源组作为目标资源组。

3.根据权利要求2所述的电商平台作业调度方法，其特征在于，所述触发条件为待执行作业的全部上游作业执行成功、预设数量的上游作业执行成功、全部上游作业执行失败中的一种；所述上游作业为与所述待执行作业具有先后依赖关系的作业。

4.根据权利要求1所述的电商平台作业调度方法，其特征在于，还包括如下步骤：

判断所述待执行作业是否执行失败，若是，则统计所述待执行作业执行失败次数；

判断所述待执行作业的剩余重试次数是否为0，若否，则再次执行所述待执行作业。

5.一种电商平台作业调度系统，其特征在于，包括：

获取模块，用于获取执行待执行作业所需的资源空间评估值；

设置模块，用于设置多个资源组，多个所述资源组与多个作业类型一一对应，每一所述资源组用于执行相应作业类型的作业，多个作业类型包括Vertica、Hive、Spark、MapReduce中的多个；

选择模块，连接所述获取模块和所述设置模块，用于选择与所述待执行作业匹配的资源组作为目标资源组；

控制模块，连接所述选择模块，用于判断所述目标资源组的剩余资源空间是否大于所述资源空间评估值，若是，则将所述待执行作业分配至所述目标资源组，并进行资源调度，以开始执行所述待执行作业；所述控制模块还用于判断所述目标资源组的剩余资源空间是否大于所述资源空间评估值，若否，则将所述待执行作业按照预先设定的优先级顺序加入到所述目标资源组的作业等待队列中。

6.根据权利要求5所述的电商平台作业调度系统，其特征在于，所述选择模块包括判断单元和选择单元；所述判断单元，连接所述选择单元，用于判断所述待执行作业是否满足触发条件；所述选择单元，用于在所述判断单元的判断结果为所述待执行作业满足触发条件时，选择与所述待执行作业匹配的资源组作为目标资源组。

7.根据权利要求6所述的电商平台作业调度系统，其特征在于，所述触发条件为待执行作业的全部上游作业执行成功、预设数量的上游作业执行成功、全部上游作业执行失败中的一种；所述上游作业为与所述待执行作业具有先后依赖关系的作业。

8.根据权利要求5所述的电商平台作业调度系统，其特征在于，还包括重试模块；所述控制模块还用于判断所述待执行作业是否执行失败，若是，则统计所述待执行作业执行失败次数；所述重试模块，连接所述控制模块，用于判断所述待执行作业的剩余重试次数是否为0，若否，则向所述控制模块发出再次执行所述待执行作业的指令。