[发明专利]一种可视化机器学习训练模型的建模系统和方法

权利要求书

1.一种可视化机器学习训练模型的建模系统，其包括：

流程设计器，用于根据用户将选择的图形化算法组件拖拽至设计区来建立图形化算法组件中的算法之间的数据流向，并生成流程描述语言；

流程解析器，用于对流程设计器生成的流程描述语言进行解析，创建相应的学习组件，并生成相应的Spark学习管道；

流程调度器，用于将Spark学习管道提交到Spark集群上进行模型训练。

2.如权利要求1所述的可视化机器学习训练模型的建模系统，其特征在于，图形化算法组件包括下列组件中的任一个或任几个：

数据源组件，用于供用户选用来在机器学习训练模型中建立读入数据用的数据读取组件；

数据预处理组件，用于供用户选用来在机器学习训练模型中建立对数据进行预处理的数据预处理组件；

文本分析组件，用于供用户选用来在机器学习训练模型中建立用于文本分析的文本分析组件；

机器学习组件，用于供用户选用来在机器学习训练模型中建立用于机器学习的机器学习组件；

结果验证组件，用于供用户选用来在机器学习训练模型中建立用于结果验证的结果验证组件。

3.如权利要求1所述的可视化机器学习训练模型的建模系统，其特征在于，流程设计器设置有下列模块中的任一个或任几个：

算法组件列表模块，用于供列表图形化算法组件；

可视化流程画布模块，用于供显示流程设计、模型验证和/或中间结果；

算法组件设置区模块，用于供设置相应图形化算法组件的相应属性。

4.如权利要求3所述的可视化机器学习训练模型的建模系统，其特征在于：

可视化流程画布模块中显示的流程设计包括选用的各图形化算法组件及相互之间的数据流向关系。可视化流程画布模块中还可以显示各图形化算法组件的执行状态。和/或用户可以在可视化流程画布模块中通过操作各图形化算法组件来执行相应的操作。

5.如权利要求1所述的可视化机器学习训练模型的建模系统，其特征在于，还包括下列结构中的任一种或任几种：

结构1、还包括对训练模型进行保存的模型保存模块；

结构2、还包括对模型进行导入的模型导入模块；

结构3、图形化算法组件是将预定算法封装形成的；

结构4、结构3的基础上，图形化算法组件内部隐藏有预定的操作逻辑；

结构5、学习组件是根据节点类名及属性创建的；

结构6、Spark学习管道是根据节点的连接属性生成的；

结构7、学习管道是依据Spark集群的资源利用情况提交到Spark集群上的；

结构8、结构7的基础上，Spark集群是动态分布式Spark集群；

结构9、结构8的基础上，通过对AWS接口的封装及Spark集群性能指标的管理，动态地控制Spark集群资源的使用情况，动态增加及删除Spark集群资源，实现真正意义上的动态扩容。

6.一种可视化机器学习训练模型的建模方法，其特征在于，其包括如下步骤：

S1、选择预定的图形化算法组件，并拖拽至设计区来建立图形化算法组件中的算法之间的数据流向，以此生成流程描述语言；

S2、对流程描述语言进行解析，根据节点类名及属性创建相应的学习组件，并生成相应的Spark学习管道；

S3、将学习管道提交到Spark集群上进行模型训练。

7.如权利要求6所述的可视化机器学习训练模型的建模方法，其特征在于：步骤S1中，图形化算法组件是将预定算法封装形成的。较佳的，图形化算法组件内部隐藏有预定的操作逻辑。还对图形化算法组件进行相应的属性设置。图形化算法组件包括下列组件中的任一个或任几个：

数据源组件，用于供用户选用来在机器学习训练模型中建立读入数据用的数据读取组件；

数据预处理组件，用于供用户选用来在机器学习训练模型中建立对数据进行预处理的数据预处理组件；

文本分析组件，用于供用户选用来在机器学习训练模型中建立用于文本分析的文本分析组件；

机器学习组件，用于供用户选用来在机器学习训练模型中建立用于机器学习的机器学习组件；

结果验证组件，用于供用户选用来在机器学习训练模型中建立用于结果验证的结果验证组件。