[发明专利]运行时可插拔的异构大数据资源封装集成系统及方法

说明书

本发明公开了运行时可插拔的异构大数据资源封装集成系统及方法，构建了一种通用型的异构大数据资源模型，并引入相应更高效的大数据资源封装方式，以开放式组合的形式完成大数据分析过程中异构资源的融合流转，建立松耦合、通用化的大数据资源集成平台。该方案结合大数据分析的特点,基于数据维度和关联关系的抽象与规范，抽象出包含静态信息、交互信息、监控信息等通用的异构资源模型，基于结构化模型构建了包含注册机制、调度机制、插拔重组机制的资源封装机制，以开放式组合的形式完成大数据分析过程中异构资源的融合流转，建立松耦合、通用化的大数据资源集成平台，以运行时可插拔的形式提升了大数据平台的存储能力、计算能力和算法能力。

技术领域

本发明涉及大数据分析技术领域，具体涉及运行时可插拔的异构大数据资源封装集成系统及方法。

背景技术

随着大数据技术的发展和升级，推动着与不同领域产生融合创新，在提升各领域生产效率，优化资源配置的同时，也产生了不同领域多样化的数据分析需求。面向多领域复杂多变的数据分析处理环境，传统的资源利用和组件运行技术等已经不能满足其要求，亟待从以下两方面进行提升改进：

1、需要构建通用的异构资源模型，伸展大数据运行场景。传统的生产流程强调运行时的完整性和准确性，从运行过程流转、处理结果传递、运行环境和执行参数等角度构建和保证生产流程的进行；而大数据分析流程是聚焦于数据采集、治理、分析、可视化及应用的过程，由于数据来源和分析处理形式复杂多样，缺少对输入的数据源、提供计算能力的引擎、参与计算和处理的算子等不同类型的资源进行基于数据维度和关联关系的抽象与规范，会导致不能满足运行时的各类接口标准和性能要求等，使数据分析过程不能正常运转或流程编排过于繁琐，无法推进大数据的生产化应用。

2、需要改进资源封装方式，提升大数据运行效率。传统的资源封装方式出发点是统一的运行环境中资源的关联应用、数据传递等，资源间的耦合性较强。这样导致在面对大数据分析多领域多样化又庞大的流转场景时，提供数据访问、计算、处理等能力的资源不能灵活地融合运转，难以集中于具体的业务逻辑，数据分析效率变低；如果数据分析场景发生变更，生产流程的各个资源都要修改和重组，产生了过多额外的重复工作。

面临上述问题，为了处理多领域复杂多变的大数据分析需求，需要构建通用性的异构资源模型，引入相应更高效的资源封装方式，将生产流程编排的过程降耦，提升各类数据的生产保障能力。

发明内容

有鉴于此，本发明提供了运行时可插拔的异构大数据资源封装集成系统及方法，构建了一种通用型的异构大数据资源模型，并引入相应更高效的大数据资源封装方式，以开放式组合的形式完成大数据分析过程中异构资源的融合流转，建立松耦合、通用化的大数据资源集成平台。

为达到上述目的，本发明的技术方案为：运行时可插拔的异构大数据资源封装集成系统，封装集成系统包括大数据资源可插拔模型以及大数据分析子系统。

大数据资源可插拔模型包括静态信息、交互信息、监控信息和调度信息。

大数据分析子系统包括异构大数据资源注册模块、大数据流程编排模块、任务调度模块以及运行时插拔重组模块。

异构大数据资源注册模块基于异构大数据资源模型提供资源注册的统一接口。

大数据流程编排模块，用于针对已注册完成的大数据资源进行大数据算子的拖拽式布局和连线式流程编排，生成大数据业务流程；大数据流程编排模块还支持执行过程中流程处理进度的展示和中间结果的输出。

任务调度模块基于大数据业务流程构建生产任务，按调度配置属性进行任务调度，支持对调度任务的管理、可视化监控以及控制执行操作。

运行时插拔重组模块，用于在数据分析场景发生变化时，基于当前的运行环境进行大数据资源的插拔调整。

进一步地，异构大数据资源包括数据源、计算引擎、算子以及生产任务。