[发明专利]作业提交执行方法、装置、设备及计算机存储介质

说明书

本发明涉及金融科技(Fintech)技术领域，并公开了一种作业提交执行方法，该方法包括：网关获取用户账号对应的大数据作业，并将大数据作业提交到入口；入口基于大数据作业检测用户账号对应的服务器是否存在第一引擎；若不存在第一引擎，则入口向引擎管理器发送引擎请求信息，引擎管理器根据引擎请求信息和资源管理器启动第二引擎；入口将大数据作业提交到第二引擎，第二引擎对大数据作业进行执行，生成所述大数据作业的结果集。本发明还公开了一种作业提交执行装置、设备和一种计算机存储介质。本发明实现了在集群资源不充足的情况下，提高任务作业执行的成功率。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及作业提交执行方法、装置、设备及计算机存储介质。

背景技术

随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。例如，大数据中提交spark(集群计算平台)任务的方式，目前基本上是采用开源项目Livy进行提交，但是在Livy中，虽然在Yarn上执行的任务作业可以由Yarn自带的资源管理器进行资源的管理，但是在这种资源管理仅仅是对队列资源的管理，用户级别的资源管理是缺失的，一个用户如果在短时间内并发启动多个session(会话控制)，会让有限的集群资源迅速耗尽，从而导致其它用户无法进行任务作业执行。因此，如何在集群资源不充足的情况下，提高任务作业执行的成功率成为目前亟待解决的技术问题。

发明内容

本发明的主要目的在于提出一种作业提交执行方法、装置、设备及计算机存储介质，旨在提高任务作业执行的可用性。

为实现上述目的，本发明提供一种作业提交执行方法，所述作业提交执行方法应用于作业提交执行系统，所述作业提交执行系统包括网关、资源管理器、入口和引擎管理器，

所述作业提交执行方法包括如下步骤：

所述网关获取用户账号对应的大数据作业，并将所述大数据作业提交到所述入口；

所述入口基于所述大数据作业检测所述用户账号对应的服务器是否存在第一引擎；

若不存在所述第一引擎，则所述入口向所述引擎管理器发送引擎请求信息，所述引擎管理器根据所述引擎请求信息和所述资源管理器启动第二引擎；

所述入口将所述大数据作业提交到所述第二引擎，所述第二引擎对所述大数据作业进行执行，生成所述大数据作业的结果集。

可选地，所述引擎管理器根据所述引擎请求信息和所述资源管理器启动第二引擎的步骤，包括：

所述引擎管理器根据所述引擎请求信息向所述资源管理器发送申请所述用户账号对应的资源信息的申请信息；

所述引擎管理器根据所述资源管理器返回的资源信息启动新引擎，并将所述新引擎作为第二引擎。

可选地，所述引擎管理器根据所述资源管理器返回的资源信息启动新引擎，并将所述新引擎作为所述第二引擎的步骤之前，包括：

所述资源管理器根据所述申请信息检测所述用户账号对应的剩余资源是否大于预设资源；

若大于，则所述资源管理器向所述引擎管理器发送所述剩余资源充足的资源信息。

可选地，所述入口将所述大数据作业提交到所述第二引擎的步骤之前，包括：

所述引擎管理器获取所述第二引擎的标识信息，并将所述标识信息和所述第二引擎已启动成功的通知信息发送到所述入口；

所述入口将所述大数据作业提交到所述第二引擎的步骤，包括：