[发明专利]一种批处理任务执行方法、系统、存储介质及设备

说明书

本发明提供了一种批处理任务执行方法、系统、存储介质及设备，涉及数据处理技术领域，该方法包括：对待执行的批处理任务进行设置，并至少设定所述批处理任务的任务名称以及执行时间；查找服务器的多个空闲节点，确定所述多个空闲节点中的任一空闲节点为一目标节点；读取所述服务器所有待执行的批处理任务，根据所述任务名称建立所述批处理任务与所述目标节点的对应关系；控制所述目标节点按照所述执行时间执行所述批处理任务。本发明通过设定待执行批处理任务的执行计划，按照执行计划依次执行批处理任务，能够解决了现有技术中服务器在执行批处理任务时并行处理多个任务导致任务执行效率低的技术问题。

技术领域

本发明涉及数据处理技术领域，特别涉及一种批处理任务执行方法、系统、存储介质及设备。

背景技术

随着深度学习技术的发展，越来越多的行业应用深度学习技术以实现智能化的信息处理。对于需要实时服务的任务，需要考虑通过GPU来提高处理高并发的服务。

目前，较为简单的方式是直接将待处理的数据发送给GPU，每次访问单独进行GPU处理，但会导致重复的GPU资源消耗。因此，需将并发访问合并为批处理的批次，然后GPU一次处理整个批次，从而降低数据传输成本。然而，批处理规模的选择是影响每次并发访问处理时间的关键因素，如果规模过大，前面的访问会等待足够的访问到达形成一个批次，再由GPU进行处理。批处理规模越大，GPU处理的时间也越长，并且需要更多的内存开销，因此访问将等待更长的时间。

因此，现有技术中普遍存在批处理任务执行时并行处理多个任务，导致存在执行效率不高的技术问题。

发明内容

基于此，本发明的目的是提供一种批处理任务执行方法、系统、存储介质及设备，旨在解决现有技术中普遍存在批处理任务执行时并行处理多个任务，导致存在执行效率不高的技术问题。

本发明的第一方面在于提供一种批处理任务执行方法，所述方法包括：

对待执行的批处理任务进行设置，并至少设定所述批处理任务的任务名称以及执行时间；

查找服务器的多个空闲节点，确定所述多个空闲节点中的任一空闲节点为一目标节点；

读取所述服务器所有待执行的批处理任务，根据所述任务名称建立所述批处理任务与所述目标节点的对应关系；

控制所述目标节点按照所述执行时间执行所述批处理任务。

根据上述技术方案的一方面，对待执行的批处理任务进行设置，并至少设定所述批处理任务的任务名称以及执行时间的步骤，具体包括：

获取服务器所需执行的多个批处理任务的任务类型，并根据所述任务类型对多个所述批处理任务进行分类；

根据多个所述批处理任务的分类结果，按照分类依次对该分类条目下每一类别的所述批处理任务进行设置，并设置每一所述批处理任务的任务名称与执行时间。

根据上述技术方案的一方面，所述方法还包括：

根据每一所述批处理任务的所述执行时间，对应生成每一所述批处理任务的提示信息；

其中，所述批处理任务的提示信息包括信息推送。

根据上述技术方案的一方面，查找服务器的多个空闲节点，确定所述多个空闲节点中的任一空闲节点为一目标节点的步骤，具体包括：

确定服务器所有的执行节点，筛选出所述服务器中正在执行任务的执行节点，以确定剩余的所述执行节点为空闲节点；

分别获取多个所述空闲节点的历史执行数据，根据所述历史执行数据，确定多个所述空闲节点中一执行效率最高的空闲节点为一目标节点。