[发明专利]一种基于数据流混合编排的分析模型构建方法及系统

说明书

本发明提供了一种基于数据流混合编排的分析模型构建方法，所述基于数据流混合编排的分析模型构建方法包括以下步骤：拆分处理子任务，接收分析任务的数据流转，并将分析任务按照分析流程拆分为处理子任务；修饰处理子任务，为处理子任务定义：数据输入、数据输出及处理逻辑；封装分析任务，将分析任务封装为编码结构的数据流图；转换语言格式，将数据流图转换为标记语言格式的任务流图；调度执行，将任务流图解析，并进行分发调度执行；生成分析结果，返回调度执行的执行结果，得到分析结果。本发明还提供了一种基于数据流混合编排的分析模型构建系统。本发明能够解决了数据分析建模过程中建模方式单一、建模流程复杂、缺少混合运算支持的问题。

技术领域：

本发明涉及数据分析模型构建技术领域，尤其涉及一种基于数据流混合编排的分析模型构建方法及系统。

背景技术：

随着万维网、互联网、物联网、云计算、三网融合等IT与通讯技术的迅猛发展，数据的快速增长成了许多行业所共同面对的严峻挑战和难得的机遇，信息社会已经进入了网络化的大数据时代，相较于传统数据，大数据具有体量巨大、模态繁多、增长极快、价值稀疏等特点，而要从大数据挖掘大价值，往往涉及到从预处理、分析挖掘、知识推断、决策研判、可视化交互、领域应用这样冗长的分析链路，这些特点使得传统的分析建模方法效率低且建模系统难以适用。

传统的大数据分析建模流程，对于普通业务人员来说，通常会先使用表格等分析工具去记录分析数据，通过对工具中数据的排序、叠加、存储等方式去进行分析业务，这类分析工具的分析流程繁琐，分析过程无法进行持久化记录与可视化展示；并且在分析过程中，由于业务数据规模庞大，导致分析过程中数据处理速度慢，分析效率低，且最终得到的分析结果需要通过人工筛选及整合，消耗了大量的时间成本；传统的分析建模工具如SPASS、Excel、Matlab、SAS等，对数据规模支持有限，功能结构单一，无法同时进行数据接入、数据处理、数据分析、数据评估、可视化展示等一站式分析流程构建。

随着大数据人工智能技术的发展，不断涌入出Hadoop、Spark、Tensorflow、PyTorch等分布式计算框架与深度学习框架，这些框架为大数据计算与机器学习提供了较好的平台和框架支持。对分析人员来说，在进行大数据分析建模过程中，针对不同的数据及分析模型往往需要不同框架和语言来进行分析处理才能够达到较好的分析效果，比如在处理小批量的数据集时，只需要单个节点运算避免多节点之间数据传输增加的成本；而对于大批量的数据来说，分布式运算能够通过多机并行的方式进行数据处理，并行处理所带来的性能提升远超过节点之间数据传输的消耗。因此，在进行大数据分析建模过程中，混合编排计算的需求愈加迫切，给现有的建模系统与方法带来了巨大的挑战。

因此，本领域亟需一种基于数据流混合编排的分析模型构建方法及系统。

有鉴于此，提出本发明。

发明内容：

本发明的目的在于提供一种能够更好使用的一种基于数据流混合编排的分析模型构建方法及系统，以解决现有技术中的至少一项技术问题。

具体的，本发明的第一方面，提供了一种基于数据流混合编排的分析模型构建方法，所述基于数据流混合编排的分析模型构建方法包括以下步骤：

拆分处理子任务，接收分析任务的数据流转，并将分析任务按照分析流程拆分为处理子任务；

修饰处理子任务，为处理子任务定义：数据输入、数据输出及处理逻辑；

封装分析任务，将分析任务封装为编码结构的数据流图；

转换语言格式，将数据流图转换为标记语言格式的任务流图；

调度执行，将任务流图解析，并进行分发调度执行；

生成分析结果，返回调度执行的执行结果，得到分析结果。