[发明专利]分布式批量作业分配方法及装置

说明书

本发明提供了一种分布式批量作业分配方法及装置，涉及计算机技术领域，该方法包括：获取待分配作业的第一资源偏好数据、多个作业节点的第二资源偏好数据和待分配作业间的依赖关系数据，以每个第二资源偏好数据为聚类中心，对第一资源偏好数据进行K均值聚类处理，得到多个聚类结果，按照待分配作业的个数和依赖关系数据确定每个待分配作业的优先级信息，计算空闲作业节点与聚类结果的相似度值，根据相似度值确定目标聚类结果，根据优先级信息在目标聚类结果中为空闲作业节点分配作业。本发明对待分配作业先进行聚类，再针对每个空闲作业节点进行聚类内的搜索，能够更快速的找到适合的作业进行分配，实现更高效的分布式批量作业分配。

技术领域

本发明涉及计算机技术领域，尤其是涉及一种分布式批量作业分配方法及装置。

背景技术

现有银行个人客户权益系统，批量框架为分布式多节点的批处理调度方法，主节点进行任务分发，每个子节点并行作业。然而当有多个作业同时等待被处理时，子节点选取作业的方式是随机选择一个处理。然而不同节点性能优势和作业的优先级、资源消耗侧重点是有差异的。随机的方式并不能高效的使用节点资源。

发明内容

本发明提供了一种分布式批量作业分配方法及装置，可以通过为子节点选择更合适的作业，提高批量作业的分配效率。

第一方面，本发明实施例提供了一种分布式批量作业分配方法，该方法包括：获取待分配作业的第一资源偏好数据、多个作业节点的第二资源偏好数据和待分配作业间的依赖关系数据；以每个所述第二资源偏好数据为聚类中心，对所述第一资源偏好数据进行K均值聚类处理，得到多个聚类结果；按照所述待分配作业的个数和所述依赖关系数据确定每个待分配作业的优先级信息；计算空闲作业节点与所述聚类结果的相似度值，根据所述相似度值确定目标聚类结果；根据所述优先级信息在所述目标聚类结果中为所述空闲作业节点分配作业；按照所述待分配作业的个数和所述依赖关系数据确定每个待分配作业的优先级信息，包括：

按照所述待分配作业的个数确定每个待分配作业的初始权重；

根据所述初始权重和所述依赖关系数据确定每个待分配作业的优先级信息；

包括按照如下公式根据所述初始权重和所述依赖关系数据确定每个待分配作业的优先级信息：

其中，n为待分配作业的总个数，w_i为待分配作业的优先级信息，m为被依赖作业的序号，w_j为被依赖作业的优先级信息。

第二方面，本发明实施例还提供一种分布式批量作业分配装置，该装置包括：获取模块，用于获取待分配作业的第一资源偏好数据、多个作业节点的第二资源偏好数据和待分配作业间的依赖关系数据；聚类模块，用于以每个所述第二资源偏好数据为聚类中心，对所述第一资源偏好数据进行K均值聚类处理，得到多个聚类结果；权重模块，用于按照所述待分配作业的个数和所述依赖关系数据确定每个待分配作业的优先级信息；计算模块，用于计算空闲作业节点与所述聚类结果的相似度值，根据所述相似度值确定目标聚类结果；分配模块，用于根据所述优先级信息在所述目标聚类结果中为所述空闲作业节点分配作业；

所述权重模块，具体用于：

按照所述待分配作业的个数确定每个待分配作业的初始权重；

根据所述初始权重和所述依赖关系数据确定每个待分配作业的优先级信息；

所述权重模块，具体用于：

按照如下公式根据所述初始权重和所述待分配作业间的依赖关系数据确定每个待分配作业的优先级信息：

其中，n为待分配作业的总个数，w_i为待分配作业的优先级信息，m为被依赖作业的序号，w_j为被依赖作业的优先级信息。