[发明专利]基于大数据容器化调度中心系统的可视化显示装置及方法

说明书

本发明提出了一种基于大数据容器化调度中心系统可视化显示装置及方法，装置包括：工作流创建模块根据业务需要创建至少一个工作流，手动拖拽大数据处理过程中各模块作业至工作流，自定义工作流内各模块作业间的依赖关系；定位模块根据输入的搜索内容定位到需要的内容；过滤模块根据定位后的内容进行内容过滤；显示模块将定位后的内容及过滤后的内容实时向用户展示；高亮模块在有向无环图全景展示系统内所有工作流内容及其上下游依赖关系，鼠标设置在显示的内容上时高亮显示与此内容相关的所有依赖关系，并弹出当前内容的详细信息。本发明实现了在大数据容器化调度中心系统中的清晰简洁可伸缩的全景展示并对工作流中负责作业依赖关系进行描述。

技术领域

本发明涉及通信领域，尤其涉及一种基于大数据容器化调度中心系统的可视化显示装置及方法。

背景技术

有向无环图(Direct Acyclic Graph)支持异步并发，且可构成一种拓扑的树状结构，能极大提高扩展性。有向无环图广泛应用于复杂数据关系图表展示中。

Apache Oozie大数据调度框架的工作流为一组actions(Hadoop map/reduce作业，pig作业等作业)的集合，由一个控制依赖项DAG(Direct Acyclic Graph)来控制，但界面无用户交互，作业依赖关系建立不够灵活。

Airflow是一个编排、调度和监控工作流的平台，Airflow将工作流编排为tasks组成的DAGs，调度器在一组运行程序中按照指定的依赖关系执行tasks，工作流中所有tasks的执行顺序及tasks间的依赖关系可以被描述。但是仅限于单个工作流，没有一个系统所有工作流的数据关系全景描述。

Kettle是Pentaho整个产品体系中的数据集成模块，用户可以以拖拽的方式创建、定义作业或转换，并提供对各个子节点作业或转换的执行情况。工作流中作业以串行的方式来执行。一个作业包括一个或多个作业项，作业项间用跳(Job Hop)来连接，跳就是步骤间带箭头的连线。作业的执行顺序有跳，以及每个作业项的执行结果来决定，用户可以自定义。但是当工作流中作业过多，作业与作业项间的嵌套关系过于复杂之后，作业及作业项间的依赖关系展现就会变得不够友好，没有一个清晰简洁可伸缩的全景展示。

基于此，目前已有的大数据调度中心系统可视化界面主要有以下不足：现有的大数据调度中心系统可视化界面交互体验欠佳；缺乏一个清晰简洁可伸缩的全景展示对工作流中负责作业依赖关系进行描述；且没有跨工作流的系统层面的所有工作流及所有作业的全景展示。

发明内容

为解决上述技术问题，本发明提出了一种基于大数据容器化调度中心系统可视化显示装置及方法，以实现在大数据容器化调度中心系统中的清晰简洁可伸缩的全景展示并对工作流中负责作业依赖关系进行描述。

根据本发明的实施例，本发明提出了基于大数据容器化调度中心系统可视化显示装置，所述装置包括：

工作流创建模块，用于根据业务需求创建至少一个工作流；

定位模块，用于根据输入的搜索内容定位到需要的内容；

过滤模块，用于根据定位后的内容进行内容过滤；

显示模块，用于将定位后的内容以及过滤后的内容实时向用户展示；

高亮模块，用于在鼠标设置在显示的内容上时高亮显示，并弹出当前内容的详细信息。

进一步的，工作流创建模块，用于根据业务需求创建至少一个工作流，包括，添加Sqoop作业、Hive作业、Spark作业、数据转换作业或自定义作业，手动拖拽大数据处理过程中各模块作业至工作流，并自定义工作流各模块之间的依赖关系。

进一步的，过滤的内容包括作业耗时、CPU占有比例。