[发明专利]一种任务调度方法、装置、设备、存储介质及程序产品

说明书

本发明涉及数据存储技术领域，具体是一种任务调度方法、装置、设备、存储介质及程序产品，所述方法包括：获取待调度任务，所述待调度任务包括至少一个待调度作业；针对各个所述待调度作业，获取所述待调度作业对应的历史执行结果文件信息和后续作业信息；根据所述历史执行结果文件信息和所述后续作业信息确定所述待调度作业的本次执行结果文件的存储方式；确定执行所述待调度作业的第一计算节点；将所述待调度作业和所述存储方式下发至所述第一计算节点，以使得所述第一计算节点执行所述待调度作业，并根据所述存储方式对所述待调度作业的本次执行结果文件进行存储。本发明的方法可以实现自适应存储，进而提高任务调度的效率，降低资源的消耗。

技术领域

本发明涉及数据存储技术领域，特别涉及一种任务调度方法、装置、设备、存储介质及程序产品。

背景技术

近年来，随着银行业务的不断发展，后端系统规模也在不断扩大，批处理任务的数量与复杂度都在日益增加。将批处理任务调度在单台主机上处理时，由于任务数量及复杂度过高，单台主机无法提供足够的性能，导致主机负荷过大，影响任务的处理。

随着分布式架构的崛起，各个银行都在积极探索主机下移的解决方案，通过依托企业级分布式平台和采用开放技术建设核心银行系统，以通过分布式架构的批处理框架来实现原先主机的批处理功能，达到降低复杂度，缩短任务执行时间的目的。

现有技术中，分布式架构系统在执行批处理任务时，所有任务数据均需要从数据库下档后，以文件的形式存储在分布式存储系统中，供分布式架构系统中的所有计算节点使用。在需要使用任务数据时，所有计算节点都需要从分布式存储系统中读取文件，导致大量的计算资源消耗(包括中央处理器、输入/输出和网络开销等)。并且，由于分布式存储系统存储的文件都是独立的文件，在出现文件损坏或丢失等问题时，无法溯源重新下载。

发明内容

针对现有技术的上述问题，本发明的目的在于提供一种任务调度方法、装置、设备、存储介质及程序产品，能够实现自适应存储，从而提高任务调度的效率，同时降低系统资源和网络资源的消耗。

为了解决上述问题，本发明提供一种任务调度方法，包括：

获取待调度任务，所述待调度任务包括至少一个待调度作业；

针对各个所述待调度作业，获取所述待调度作业对应的历史执行结果文件信息和后续作业信息；

根据所述历史执行结果文件信息和所述后续作业信息确定所述待调度作业的本次执行结果文件的存储方式；

确定执行所述待调度作业的第一计算节点；

将所述待调度作业和所述存储方式下发至所述第一计算节点，以使得所述第一计算节点执行所述待调度作业，并根据所述存储方式对所述待调度作业的本次执行结果文件进行存储。

进一步地，所述根据所述历史执行结果文件信息和所述后续作业信息确定所述待调度作业的本次执行结果文件的存储方式包括：

根据所述历史执行结果文件信息预估所述本次执行结果文件的文件大小；

将所述文件大小与第一预设阈值进行比较，得到第一比较结果；

根据所述后续作业信息预估需要使用所述本次执行结果文件的作业数量；

将所述作业数量与第二预设阈值进行比较，得到第二比较结果；

根据所述第一比较结果和所述第二比较结果确定所述本次执行结果文件的存储方式。

进一步地，所述根据所述第一比较结果和所述第二比较结果确定所述本次执行结果文件的存储方式包括：

如果所述第一比较结果为所述文件大小小于或等于所述第一预设阈值，所述第二比较结果为所述作业数量小于或等于所述第二预设阈值，则确定所述存储方式为内存存储的方式；