[发明专利]一种分布式作业调度和执行方法插件化的方法及系统

说明书

本发明提供了一种分布式作业调度和执行系统插件化的方法及系统，方法包括：包括：插件配置管理步骤、插件任务配置管理步骤、插件版本管理步骤、插件缓存管理步骤、任务触发执行管理步骤和插件任务执行步骤。本发明已经在工业互联网平台xIn3Plat中得到实现，实现了定制化业务作业的执行，本发明已经在多个数据治理项目中得以使用，在保障了分布式作业调度和执行系统稳定性可靠性的前提下，有效解决了分布式作业调度和执行系统轻松满足各种复杂且频繁变更的业务需求的场景，在今后任何应用xIn3Plat的项目中，都可以应用本发明。

技术领域

本发明涉及分布式调度领域，具体地，涉及一种分布式作业调度和执行方法插件化的方法及系统。

背景技术

随着工业的信息化与智能化发展推进，工业生产及企业管理过程中产生的数据越来越多，以及这些数据的价值在日益提升。如何妥善管理和利用好这些数据，让这些数据变为更有价值的资产，面临着以下的挑战：

1.数据分布在各个孤岛

工业生产过程中产生的数据分布在各个生产基地，以及企业管理产生的数据分散在各个孤立的信息系统，对妥善管理和利用这些数据资产带了极大的困扰。

2.数据多样化

工业生产及企业管理产生的数据类型多样化，有结构化数据、时序数据、非结构化数据，此外，数据内容也是各式各样，没有按照标准或规范进行处理。这些对数据资产的管理和利用也是一个极大的挑战。

直接对各个信息孤岛的数据，进行统一的管理和利用显然是不可行的，将各个孤岛的数据统一采集进入数据湖才是更为可行的方法，这一过程需要一个作业调度和执行系统来支撑。另外，进入数据湖中多样化的原始数据，显然也不适合直接拿来使用，还需要进行处理，这个过程同样也需要一个作业调度和执行系统来支撑。最终基于处理过后的数据进行管理和利用，则会事半功倍。

结合上面描述的场景，可以看出，这个作业调度和执行系统，至少需要调度和执行大量的多样化数据源的数据采集作业、多种复杂的业务数据处理作业。显然，满足以下几个功能的作业调度和执行系统是迫切需要的：

1.分布式可线性扩展；

2.稳定可靠的运行；

3.轻量化调度和执行；

4.定制化业务作业的执行；

现有的分布式作业调度和执行系统，在稳定可靠的运行、轻量化调度和执行中的一个或两个方面做得比较优秀，但在定制化业务作业的执行方面甚少涉足。它们通常为了支持更多业务场景，而提供更为丰富的任务类型供用户选择，然而，现实是业务场景要远远比这些任务类型多得多。一旦有新的需求，那么只能在作业调度和执行系统中开发新的任务类型，待开发完成后，重编编译发布新版本，然后上线至作业调度和执行系统的生产环境。

这样一来，即便作业调度和执行系统能够很好的支持滚动升级，也难免因为升级过程中部分节点的重启导致作业执行抖动，执行比平时慢，从而波及其他相关业务。更加雪上加霜的是，需求变更非常频繁，从而导致作业调度和执行系统频繁升级上线。整个体验必然是不够友好的。

出于以上原因，现有的作业调度和执行系统无法满足需求，迫使我们探究更为适合的分布式作业调度和执行系统。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种分布式作业调度和执行方法插件化的方法及系统。

根据本发明的一个方面，提供了一种分布式作业调度和执行方法插件化的方法，包括如下步骤：

插件配置管理步骤，提供与用户的交互，包括：创建插件、上传插件程序包、删除插件、更新插件配置、更新插件程序包和查询插件信息；