[发明专利]一种基于分布式架构的任务调度实时追踪方法及系统

说明书

本发明公开了一种基于分布式架构的任务调度实时追踪方法，其特征在于，包括步骤1：建立用于记录调度进程的数据库表，步骤2：建立用于监控调度进程的远程监控接口并配置在调度管理器中，步骤3：调度任务启动后，监控执行器对调度任务的接收情况，步骤4：根据任务下发的成功与否，上报调度日志数据表和调度详情表中的任务下发数据；步骤5：监控执行器对任务的执行，调用远程监控接口，完成调度状态及调度运行详情的数据上报；步骤6：根据执行结果的不同做不同的处理。达到突破原有依赖文本日志对调度进程的难追踪问题，能以低成本的方式应对集群环境中对各调度任务的全流程跟踪和实时监测，防止补偿不及时导致的服务延迟的效果。

技术领域

本发明属于分布式系统设计领域的任务调度领域，具体涉及一种基于分布式架构的任务调度实时追踪方法及系统。

背景技术

任务调度是指系统为了自动完成特定任务，在约定的特定时刻去执行任务的过程。有了任务调度即可解放更多的人力由系统自动去执行任务。软件系统早期一般基于Quartz实现定时任务调度，所述Quartz,是OpenSymphony开源组织在Job scheduling领域的一个开源项目，它可以与J2EE与J2SE应用程序相结合,也可以单独使用。Quartz可以用来创建简单或为运行十个，百个，甚至是好几万个Jobs这样复杂的定时任务程序,然而由于其存在单点故障、任务量有限等问题逐渐被分布式调度所取代。

在软件架构逐步转变为分布式架构的进程中，单体结构被划分为若干服务，服务之间通过网络交互来完成用户的业务处理，比如电商系统为分布式架构，它由订单服务、商品服务、用户服务等组成，这种分布式系统环境下运行任务调度，我们称之为分布式任务调度。分布式调度由分布式调度系统执行，分布式调度系统主要由管理系统、调度器、执行器所组成，三者独立部署，相互之间通过RPC(全称为Remote Procedure Call Protocol，译为远程过程调用协议)或HTTP REST方式通信。所述RPC是一种通过网络从远程计算机程序上请求服务，而不需了解底层网络技术协议，它假定某些传输协议的存在，比如传输控制协议(TCP协议)或用户数据报协议(UDP协议)，用于通信程序之间的信息数据携带，RPC使得开发包括网络分布式多程序在内的应用程序更加容易。

在分布式调度系统中，管理系统提供调度规则的配置和下发，调度器负责周期性向执行器下发任务，执行器负责任务执行；调度器和执行器一般是集群部署，可以很好解决Quartz遇到的高可用和扩展问题。然而不论是单机的Quartz还是主流的分布式调度系统，主要解决的是调度和执行问题，但缺失调度过程的实时追踪，业务异常无法及时被感知和处理，用户和企业利益受损。依赖于调度日志的异常查询可以解决数量较少问题的定位，但难以应对集群环境中的追本溯源，需耗费的时间和人工成本极大，因此如何高效定位集群环境中的调度异常源头和原因，极为重要和关键。

CN201810546967需借助消息队列进行调度任务的分配，而消息队列的存在无疑会带来架构搭建的复杂性及增加问题隐患点；对于调度任务的监控也仅仅落在任务执行状态的监控，并没有涵盖调度全过程，这不利于问题追踪及定位。

CN201910411997提供的调分布式任务调度管理方法能降低服务异常的风险，提高服务的稳定性和可靠性，但该方法使用的监控数据仅仅是对任务存活状态的表征，未能在监控过程中明确异常源头和异常位置；CN201910637694通过时间策略解决调度任务的延迟处理问题，但并没有提及调度任务从下发到执行过程中对任务延迟的实时监控及异常报警，诸如此类的方法不能全面且有效地反应出调度过程中各个阶段的任务执行情况，不能实现对调度任务全流程的实时监控；

CN202010939553解决了没有补偿机制环境下剩余待调度任务无法执行的问题，但需要通过再次扫描获取未完成执行的调度任务，无法保证调度任务异常发生时及时启动调度补偿，由此导致的调度延迟会带来服务提供异常。

发明内容