[发明专利]Hadoop分布式算法的WEB界面集成方法及装置

说明书

本发明公开了一种Hadoop分布式算法的WEB界面集成方法及装置，该方法包括：当某数据获取组件被触发后，配置该数据获取组件的输入，并选择一个或多个数据处理组件作为该数据获取组件的输出；配置被选中的数据处理组件的输入，并选择其他的数据处理组件中的一个或多个作为本数据处理组件的输出，形成组件关系网；当接收到运行指令后，利用组件关系网的各组件对被触发的数据获取组件的输入数据进行处理，得到数据处理结果。借助于本发明的技术方案，在WEB界面中将选择的若干个数据获取组件和若干个数据处理组件形成组件关系网，利用组件关系网的各组件对被触发的数据获取组件的输入数据进行处理，无需编程，并且能够立即执行看到效果。

技术领域

本发明涉及移动通讯领域，特别涉及一种Hadoop分布式算法的WEB界面集成方法及装置。

背景技术

Hadoop中包含了丰富的组件，Mahout是其中一个很强大的数据挖掘工具，是一个分布式机器学习算法的集合，包括：被称为Taste的分布式协同过滤的实现、分类、聚类等。Mahout最大的优点就是基于hadoop实现，把很多以前运行于单机上的算法，转化为了MapReduce模式，这样大大提升了算法可处理的数据量和处理性能，表1为在Mahout实现的机器学习算法。

表1

企业在使用开源Hadoop建设大数据平台时，在使用Hadoop分布式算法的时候，往往都需要组织熟悉Hadoop架构的软件人员开发各种Mapreduce程序，一方面这些程序的开发周期较长，另一方面这些程序运行在Linux操作系统之中，只能通过Crontab调度的方式进行简单管理。因此，需要一种简单易用的方式，帮助企业屏蔽Hadoop底层技术的复杂性，使企业的人员仅关注数据和业务，尽量减少在程序开发和算法使用方面的难度，快速达到大数据平台的建设目标。

发明内容

为了帮助企业屏蔽Hadoop底层技术的复杂性，使企业的人员仅关注数据和业务，尽量减少在程序开发和算法使用方面的难度，本发明提供了一种Hadoop分布式算法的WEB界面集成方法及装置。

本发明提供的Hadoop分布式算法的WEB界面集成方法，所述WEB界面内加载有若干数据获取组件和若干数据处理组件，所述方法包括：

当某所述数据获取组件被触发后，配置该数据获取组件的输入，并选择一个或多个所述数据处理组件作为该数据获取组件的输出；

配置被选中的数据处理组件的输入，并选择其他的数据处理组件中的一个或多个作为本数据处理组件的输出，形成组件关系网；

当接收到运行指令后，利用所述组件关系网的各组件对被触发的数据获取组件的输入数据进行处理，得到数据处理结果。

本发明提供的Hadoop分布式算法的WEB界面集成装置，所述WEB界面内加载有若干数据获取组件和若干数据处理组件，包括第一配置模块、第二配置模块、及处理模块；

所述第一配置模块，用于当某所述数据获取组件被触发后，配置该数据获取组件的输入，并选择一个或多个所述数据处理组件作为该数据获取组件的输出；

所述第二配置模块，用于配置被选中的数据处理组件的输入，并选择其他的数据处理组件中的一个或多个作为本数据处理组件的输出，形成组件关系网；

所述处理模块，用于当接收到运行指令后，利用所述组件关系网的各组件对被触发的数据获取组件的输入数据进行处理，得到数据处理结果。

本发明有益效果如下：