[发明专利]任务调度方法、网络设备和存储介质

说明书

本发明实施例涉及通信领域，公开了一种任务调度方法、网络设备和存储介质。任务调度方法包括：当监控到主节点接收到任务请求后，根据预设的优先级信息遍历预设的调度表，其中，所述调度表中包含根据预设的调度规则分配的从节点信息；在所述调度表中选择与所述任务请求相匹配的从节点信息；将所述从节点信息发送至所述主节点以供所述主节点将所述任务请求调度至与所述从节点信息对应的从节点。应用于异构平台任务调度过程中，实现整个集群负载平衡，提高任务执行效率。

技术领域

本发明实施例涉及通信领域，特别涉及一种任务调度方法、网络设备和存储介质。

背景技术

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，能够对大量数据进行分布式处理，其核心是分布式文件系统(Hadoop Distributed File System，HDFS)和MapReduce编程模型。目前在现有MapReduc编程模型计算过程中，主节点通过Hadoop异构平台默认算法将任务平均分配给每个从节点，默认调度策略使每个节点的负载率保持一致，这种策略在资源相同的环境下通常有效，Hadoop集群会配置相同的资源，默认调度策略会使计算任务在每个节点实际负载率保存一致，不会出现侧重偏差。随着云计算的发展，在应用软件系统运化后，传统硬件资源逐渐释放出来，加入云环境中，合理有效地利用资源。

然而，如今资源呈现出多样化发展，每个节点的存储空间、计算能力各不同，Hadoop默认调度策略显然不能满足集群负载平衡要求。比如，如果一个节点的计算能力很弱，但存储空间大，默认策略会使该节点成为一个高负载，造成整个集群负载不平衡，降低了整个集群运行效率，使得任务执行时间变长，执行效率降低。

发明内容

本发明实施方式的目的在于提供一种任务调度方法、网络设备和存储介质，实现合理分配资源和调度任务，提高任务执行效率。

为解决上述技术问题，本发明的实施方式提供了一种任务调度方法，包括：应用于异构平台，所述异构平台包括至少一个主节点，所述主节点包括至少一个从节点，所述方法包括：当监控到主节点接收到任务请求后，根据预设的优先级信息遍历预设的调度表，其中，所述调度表中包含根据预设的调度规则分配的从节点信息；在所述调度表中选择与所述任务请求相匹配的从节点信息；将所述从节点信息发送至所述主节点以供所述主节点将所述任务请求调度至与所述从节点信息对应的从节点。

本发明的实施方式还提供了一种网络设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上所述的任务调度方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现以上所述的任务调度方法。

本发明实施方式相对于现有技术而言，当监控到主节点接收到任务请求后，根据优先级信息遍历预设的调度表，其中，调度表中包含有根据预设的调度规则分配的从节点信息，以此实现了通过不同的调度表将从节点信息进行了分类，根据任务请求选择相应的从节点信息，实现整个集群的负载平衡，从而有效提高任务执行效率。

另外，本发明实施方式提供的任务调度方法，所述当监控到所述主节点接收到任务请求后，根据预设的优先级信息遍历预设的调度表之前，还包括：获取主节点资源信息和从节点资源信息；根据所述主节点资源信息和所述从节点资源信息获取从节点负载率、集群负载率和集群最大负载率；根据所述从节点负载率、所述集群负载率和所述集群最大负载率将所述从节点信息按照预设的调度规则分配到所述预设的调度表中。根据从节点负载率、集群负载率和集群最大负载率按照预设的调度规则将从节点信息进行了分类，使得后续能快速根据从节点资源使用状态选择合适的从节点信息进行任务调度。