[发明专利]运行时可插拔的异构大数据资源封装集成系统及方法

权利要求书

1.运行时可插拔的异构大数据资源封装集成系统，其特征在于，所述封装集成系统包括大数据资源可插拔模型以及大数据分析子系统；

所述大数据资源可插拔模型包括静态信息、交互信息、监控信息和调度信息；

所述大数据分析子系统包括异构大数据资源注册模块、大数据流程编排模块、任务调度模块以及运行时插拔重组模块；

所述异构大数据资源注册模块基于异构大数据资源模型提供资源注册的统一接口；

所述大数据流程编排模块，用于针对已注册完成的大数据资源进行大数据算子的拖拽式布局和连线式流程编排，生成大数据业务流程；所述大数据流程编排模块还支持执行过程中流程处理进度的展示和中间结果的输出；

所述任务调度模块基于大数据业务流程构建生产任务，按调度配置属性进行任务调度，支持对调度任务的管理、可视化监控以及控制执行操作；

所述运行时插拔重组模块，用于在数据分析场景发生变化时，基于当前的运行环境进行大数据资源的插拔调整。

2.如权利要求1所述的运行时可插拔的异构大数据资源封装集成系统，其特征在于，所述异构大数据资源包括数据源、计算引擎、算子以及生产任务。

3.如权利要求1或2所述的运行时可插拔的异构大数据资源封装集成系统，其特征在于，所述静态信息描述大数据资源的基础属性和静态数据；

所述交互信息用于描述资源在进行业务分析时的接口配置标准、连接情况和流转数据；

所述监控信息包括业务分析中的各类资源的状态信息、进行数据分析处理的日志信息；

所述调度信息包括各类大数据资源参与调度的级别、调度的算法信息。

4.如权利要求3所述的运行时可插拔的异构大数据资源封装集成系统，其特征在于，所述异构大数据资源注册模块中，包括数据源的注册应用、计算引擎的注册应用，算子的注册应用以及生产任务的注册应用；

所述计算引擎的注册应用包括基础处理引擎的注册应用、spark处理引擎的注册应用、TensorFlow深度学习框架的注册和应用；

所述数据源的注册应用包括各类数据库的注册应用；

所述算子的注册应用支持数据处理算法、特征工程算法、机器学习算法的组件化封装和自定义算子的拓展；

所述生产任务注册应用提供基于流程的生产任务的注册。

5.如权利要求4所述的运行时可插拔的异构大数据资源封装集成系统，其特征在于，所述运行时插拔重复模块中，所述基于当前的运行环境进行大数据资源的插拔调整，具体包括：

针对新插入的大数据资源，经过抽取大数据资源当前的状态信息以及数据信息进行当前状态的记录，针对生产任务进行存储资源和计算资源的重分配，对生产任务执行过程中产生的中间数据进行保存流转。

6.运行时可插拔的异构大数据资源封装集成方法，其特征在于，针对如权利要求1所述的封装集成系统，其工作流程如下：

步骤一、在大数据资源可插拔模型插入所述封装集成系统后，所述异构大数据资源注册模块针对大数据资源可插拔模型进行资源注册；

步骤二、资源注册完成后，若大数据资源可插拔模型为数据源、计算引擎或者算子，利用大数据流程编排模块进行计算引擎、数据源、算子的拖拽式布局和连线式流程编排，构建得到生产任务；所述大数据流程编排模块还支持执行过程中流程处理进度的展示和中间结果的输出；

若大数据资源可插拔模型为生产任务，则直接执行步骤三；

步骤三、针对步骤二中的生产任务，利用任务调度模块按调度配置属性进行任务调度，支持对生产任务的管理、可视化监控以及控制执行；

步骤四、数据分析场景发生变化，基于当前的运行环境进行大数据资源的插拔调整。