[发明专利]一种任务调度方法及装置

说明书

技术领域

本发明涉及网络技术领域，特别是涉及一种任务调度方法及装置。

背景技术

任务的处理一般具有一定的时间约束，特别是需要进行实时处理分析的实时任务对时间的要求更高，即对任务处理的截止时间有较为严格的规定。在视频监控中，常见的实时任务包括实时视频任务和实时图片任务等。上述实时任务一般通过分布式实时系统进行处理，分布式实时系统一般包括：管理服务器和至少一个处理服务器，其中，管理服务器用于获得实时任务并对其进行调度，将实时任务下派到处理服务器，进而处理服务器对接收到的实时任务进行分析等处理。对于分布式实时系统来说，管理服务器对实时任务的调度直接影响实时系统的实时性能。

相关技术中，管理服务器对实时任务的调度方式一般是对实时任务进行随机切分后得到实时任务的子任务，将第一片子任务随机下派至处理服务器，待第一片子任务处理完成后，随机下派第二片子任务至处理服务器。

采用这种调度方式处理实时任务时，由于实时任务被随机切分，所以切分后实时任务的子任务的数据量也是随机的。随机下派子任务时，对于选中的处理服务器而言，其空余计算资源值A与处理接收到的子任务所需的计算资源值B很可能不匹配，如果A小于B，那么处理服务器便无法处理接收到的子任务，进而造成数据丢失或冗余；如果A大于B，那么处理服务器的计算资源便被浪费。综合以上可见，处理任务时，处理服务器的计算资源易无法得到合理利用。

发明内容

本发明实施例公开了一种任务的调度方法及装置，用以解决相关的任务调度方式中存在的数据丢失或冗余以及计算资源无法合理利用的问题。技术方案如下：

第一方面，本发明实施例提供了一种任务调度方法，所述方法包括：

接收处理服务器反馈的空余计算资源值；

判断任务队列中是否存在未切分的任务；

如果存在，计算处理所述任务队列中所有任务所需的处理计算资源值；

根据所述空余计算资源值和所述处理计算资源值，对所述未切分的任务进行切分，得到所述未切分的任务的子任务；

根据所述空余计算资源值，下派所述任务队列中的子任务至对应的处理服务器，以使：所述处理服务器对接收到的子任务进行处理。

可选的，所述根据所述空余计算资源值的和所述处理计算资源值，对所述未切分的任务进行切分的步骤，包括：

计算所述空余计算资源值的总和；

计算所述处理计算资源值与所述总和的比率；

按照预设的比率与数据量之间的关系，确定所述未切分的任务对应子任务的目标数据量，将所述未切分的任务按照所述目标数据量进行切分。

可选的，所述根据所述空余计算资源值，下派所述任务队列中的子任务至所述处理服务器的步骤之前，所述方法还包括：

设定数据量为预设数据量的检测任务；

所述根据所述空余计算资源值，下派所述任务队列中的子任务至所述处理服务器的步骤，包括：

根据所述空余计算资源值，将所述检测任务和所述任务队列中的子任务下派至所述处理服务器；

在确定所述处理服务器开始处理所述检测任务后，回收并删除所述检测任务，并指示所述处理服务器开始处理接收到的所述子任务。

可选的，所述根据所述空余计算资源值，下派所述任务队列中的子任务至所述处理服务器的步骤，包括：

计算处理每片所述任务队列中的子任务所需的第一计算资源值；

根据所述第一计算资源值和所述空余计算资源值，确定下派至每个处理服务器的所述子任务；

将所确定的子任务下派至对应处理服务器。

可选的，所述方法还包括：

检测是否获得优先级高于当前正在处理的子任务的第一任务，如果是，计算处理所述第一任务所需的第二计算资源值；

检测所述处理服务器的当前空余计算资源值；

识别预计可用资源值不小于所述第二计算资源值对应的处理服务器，其中，所述预计可用资源值等于所述当前空余计算资源值与正在处理的子任务占用的计算资源值之和；

判断所述第一处理服务器处理完成当前子任务所需的时间是否不小于预设值；

如果所述第一处理服务器处理完成当前子任务所需的时间不小于预设值，回收所述当前子任务，并将所述第一任务下派至所述第一处理服务器，以使：该第一处理服务器对所述第一任务进行处理。

第二方面，本发明实施例还提供了一种任务调度装置，所述装置包括：

空余计算资源值接收模块，用于接收处理服务器反馈的空余计算资源值；