[发明专利]一种基于WEB的可视化大数据工作流配置方法及系统

摘要

本公开公开了一种基于WEB的可视化大数据工作流配置方法及系统，通过浏览器使用拖拽的方式和向导界面实现工作流配置，提升开发效率，降低人员成本。同时，提供完善的MapReduce/Hive/Spark支持，当前主流的大数据处理程序为HiveSQL、MapReduce、Spark、SparkSQL，本公开试图对上述大数据分布式处理程序提供完善的支持。进一步的，本公开的方案能够提升运行速度，实现为轻量级的分布式工作流引擎，提升分布式程序的调度、运行速度，提升系统性能。

主权项

1.一种基于WEB的可视化大数据工作流配置方法，其特征在于，包括：界面层设置可视化流程设计组件，接收通过所述设计组件和对应的数据处理节点设计的大数据处理业务流程；引擎层根据所述大数据处理业务流程，依次调度所述数据处理节点；将所述数据处理节点打包成分布式程序，提交到执行层；执行层在分布式程序运行环境中执行所述分布式程序并将执行结果返回所述引擎层；所述引擎层接收所述执行结果并整理；将所述执行结果返回给所述界面层；所述界面层展示所述大数据处理业务流程的执行结果。