[发明专利]一种多中台的中央调度方法及系统

说明书

本发明公开了一种多中台的中央调度方法及系统，属于互联网数据处理领域，方法包括以下步骤：S1、通过lua脚本建立业务组件，并基于lua虚拟机建立用于提供完整业务服务的业务聚合组件；S2、通过二维表结构建立业务组件的调度方式；S3、对于每个业务聚合组件，对调度任务运行数据和调度任务中间数据进行结构化存储，并根据存储的数据进行任务挂起、异常恢复和任务调度频率控制，使业务聚合组件完成任务运行；S4、通过哨兵服务进行服务发现和调度策略管理，完成多中台的中央调度。本发明可以实现基础能力统一、业务和底层分离、业务规则配置方式统一等目标，进而实现多中台的随意调度。

技术领域

本发明涉及互联网数据处理领域，具体涉及一种多中台的中央调度方法及系统。

背景技术

近年来，随着互联网技术的发展，越来越多的线下业务都朝着线上模式转变。以至于线上的业务也来越多样化、复杂化。随着业务的复杂度的不断提高，业务场景的不断变化，互联网业务平台的设计、开发、维护成本也变得越来越高，于是有了“微服务”的概念。“微服务”将复杂业务场景按照职能拆分到不同的服务实现，分而治之，微服务之间通过RPC交互，技术实现互不影响。但随着业务的迭代，微服务数量会不断增加，服务的治理、业务的梳理、业务的划分便又陷入瓶颈，调用关系会变得越来越难以维护。于是又有了“中台”概念。“中台”倾向于业务的划分，按业务场景将一个微服务、或者是一组微服务划分到共享业务中台，通过“中台”来聚合基础服务，提供相应的业务能力。最终，根据业务场景聚合各个业务中台的能力，提供完整的业务服务。

基于此，“业务中台”的业务聚合场景可包含前端请求业务聚合、后台异步任务业务聚合、定时任务业务聚合等等，其能力包括业务聚合、任务调度、任务挂起、任务恢复、任务异常恢复、服务灾备等等。往往现有的大多数实现方式都是，各个业务部门各自开发各自的中台基础能力和中台业务，技术栈、底层能力都各自隔离，这样的模式随着业务的迭代会陷入诸多问题：

(1) 各部门重复性的开发会照成人力浪费。

(2) 业务的划分，已经随着中台的划分，限制得比较死，随着业务的复杂性不断增加，几乎无法完成未来大的变动。

(3) 对于底层能力（诸如：灾备调度、任务管理等等）的实现不统一。

发明内容

针对现有技术中的上述不足，本发明提供的一种多中台的中央调度方法及系统解决了多个中台难以随意调度的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种多中台的中央调度方法，其包括以下步骤：

S1、通过lua脚本建立业务组件，并基于lua虚拟机建立用于提供完整业务服务的业务聚合组件；

S2、通过二维表结构建立业务组件的调度方式；

S3、对于每个业务聚合组件，对调度任务运行数据和调度任务中间数据进行结构化落地存储，并根据存储的数据进行任务挂起、异常恢复和任务调度频率限制，使业务聚合组件完成任务运行；

S4、通过哨兵服务进行服务发现和调度策略管理，完成多中台的中央调度。

进一步地，步骤S1的具体方法包括以下子步骤：

S1-1、引入lua虚拟机，解析运行lua脚本；

S1-2、采用一个lua对象构成一个业务组件，通过map数据结构对所有业务组件进行管理；其中一个业务组件包括一个组件名和一个业务处理函数；

S1-3、将所有业务组件信息存储于mysql中；其中每个业务组件信息包含组件名、版本号和组件脚本；

S1-4、采用zookeeper管理并监听业务组件运行时的变化，并导出服务调用接口函数到lua虚拟机，完成用于提供完整业务服务的业务聚合组件的建立。