[发明专利]集成化的机器学习算法库与统一编程框架

权利要求书

1.一种集成化的机器学习算法库与统一编程框架，其特征在于：包括模型学习组件、模型更新组件和学习策略组件；所述模型学习组件基于Batch Processing利用机器学习算法和固定大小的批量数据构建算法模型的逻辑；所述模型更新组件基于Timely Processing利用动态的数据流对特定的算法模型进行更新的逻辑；所述学习策略组件内置判断输入数据是批量数据还是流数据的策略，调度模型学习组件、模型更新组件两个组件进行动态学习的逻辑。

2.根据权利要求1所述的集成化的机器学习算法库与统一编程框架，其特征在于：所述模型学习组件包括一套数据转换适配器。

3.根据权利要求2所述的集成化的机器学习算法库与统一编程框架，其特征在于：所述模型学习组件在使用时数据集在Hadoop、Spark或Flink平台上进行数据预处理及算法模型构建，预处理过程中，利用数据转换适配器在不同平台间无缝转换并传递数据集，实现跨平台模型构建， 再利用Spark Structured Streaming、Flink流数据处理平台实现流式算法模型更新。

4.根据权利要求1所述的集成化的机器学习算法库与统一编程框架，其特征在于：所述模型更新组件通过在Spark Structured Streaming、Flink流式计算框架上实现，运行时指定执行的计算引擎，组件内部的算法库基于流处理模式提供了分类、回归、聚类机器学习算法模型更新策略。

5.根据权利要求1所述的集成化的机器学习算法库与统一编程框架，其特征在于：所述学习策略组件基于工作流引擎通过调度模型学习组件和模型更新组件来完成批量机器学习与流式机器学习任务。

6.根据权利要求1所述的集成化的机器学习算法库与统一编程框架，其特征在于：所述学习策略组件设置有监听器和调度器。

7.一种集成化的机器学习算法库与统一编程框架的实时学习控制方法，其特征在于，包括以下步骤：

步骤S1:学习策略组件的调度器向模型更新组件发送启动命令;

步骤S2:模型更新组件开始监听流数据源,在积累预设量数据后阻塞自身；

步骤S3:学习策略组件调度器启动监听器，监听器向模型学习组件发送启动命令进行学习；

步骤S4:当模型学习组件完成算法模型训练，通知监听器算法模型训练已经完成，监听器通知模型更新组件激活自身并持续监听流数据源，利用到达的数据更新算法模型。

8.一种集成化的机器学习算法库与统一编程框架的批量学习控制方法，其特征在于，包括以下步骤：

步骤S1:学习策略组件的调度器向模型更新组件发送启动监听命令;

步骤S2:模型更新组件开始监听模型学习组件的模型数据源；

步骤S3:学习策略组件的调度器启动监听器，监听器向模型学习组件发送启动命令进行学习；

步骤S4:当模型更新组件监听到算法模型训练完成时，其通知监听器启动下一轮学习；

步骤S5:经过预设轮数学习，当监听器达到学习次数的阈值时，监听器通知模型更新组件学习结束，并通知模型学习组件集成最终的算法模型。