[发明专利]一种基于Mahout的机器学习服务组装方法

说明书

本发明提供一种基于Mahout的机器学习服务组装方法，其特征在于，包括以下步骤：步骤S1：将不同格式的数据进行预处理；步骤S2：进行模型训练；步骤S3：对模型进行评估；步骤S4：将算子进行统一的封装；步骤S5：根据用户描述的所要使用的机器学习方法以及要进行处理的数据的格式，组装机器学习工作流路径；步骤S6：当这些机器学习工作流在通过Oozie在Hadoop平台上运行结束之后，每一条工作流的模型评估算子将会给出工作流的评估结果；用户根据此评估结果，选择机器学习工作流。与现有技术相比，本发明能够快速有效地定制和调优可复用的机器学习流程，从而能够高效的在Hadoop平台上进行数据挖掘工作。

技术领域

本发明涉及一种基于Mahout的机器学习服务组装方法。

背景技术

如今人类社会每天产生和存储的数据量越来越庞大，同时还伴随着用户越来多样化的数据分析需求。如何简单、快速、有效地构建一个能够处理大规模数据的机器学习流程，已经成为一个目前亟待解决的需求。Mahout是建立在Hadoop之上的开源分布式机器学习算法库，Mahout的出现解决了传统的机器学习库存在的缺少活跃技术社区、扩展性差、无法处理分布式海量数据以及不开源等缺陷。但由于Mahout提供的机器学习算法众多，每个算法又拥有少则几个多则数十个的可调整参数，所以在Hadoop平台上使用Mahout进行数据挖掘仍需要非常高的学习成本。

发明内容

为解决上述问题，本发明提供一种复用视角下的Mahout机器学习服务组装方法。

本发明采用以下技术方案：一种基于Mahout的机器学习服务组装方法，其特征在于，包括以下步骤：步骤S1：将不同格式的数据进行预处理，转换成模型训练使用的特征向量；步骤S2：进行聚类模型、分类模型及协同过滤推荐模型训练；步骤S3：对训练完成的模型进行评估；步骤S4：步骤S1、步骤S2及步骤S3都属于Mahout算法库中一系列算子，将这些算子进行统一的封装，使其成为满足Oozie工作流平台调用规范的一系列服务；步骤S5：根据用户描述的所要使用的机器学习方法以及要进行处理的数据的格式，组装出不止一条满足需求的机器学习工作流路径；步骤S6：当这些机器学习工作流在通过Oozie在Hadoop平台上运行结束之后，每一条工作流的模型评估算子将会给出工作流的评估结果；用户根据此评估结果，选择机器学习工作流。

在本发明一实施例中，还包括步骤S7：将用户已经选定的机器学习工作流存储到知识库中，以供该用户或者具有相似需求的用户在此之后复用。

在本发明一实施例中，步骤S1中的数据预处理包括：SeqDirectory、Lucene2Seq、Seq2Sparse、Arff.Vector、Split、SplitDataSet、Describe及Hive。

在本发明一实施例中，步骤S2中的聚类模型包括采用Canopy、K-Means、模糊K-Means、LDA和谱聚类五个聚类算法的聚类模型。

进一步的，步骤S2中的分类模型包括采用朴素贝叶斯算法及随机森林算法的分类模型。

进一步的，步骤S2中的协同过滤推荐模型采用矩阵因式分解协同过滤算法及基于物品的协同过滤推荐算法的协同过滤推荐模型。

在本发明一实施例中，步骤S3中训练完成的模型评估包括以下步骤：步骤S31：聚类模型评估采用簇间距离及聚类输出检查进行评估；步骤S32：分类模型评估采用正确率进行评估，若分类模型采用朴素贝叶斯算法，评估还包括混淆矩阵；步骤S33：协同过滤推荐模型评估采用模型的准确率进行评估。

与现有技术相比，本发明能够快速有效地定制和调优可复用的机器学习流程，从而能够高效的在Hadoop平台上进行数据挖掘工作。

附图说明

图1为本发明的主要流程图。

图2为本发明机器学习工作流程图。