[发明专利]基于分布式并行计算的大数据挖掘系统

说明书

本发明公开了一种基于分布式并行计算的大数据挖掘系统，该系统包括：客户端模块、任务调度控制模块、算法模块以及数据集模块；其中，所述客户端模块负责为用户提供系统交互界面以及访问接口；所述任务调度控制模块是整个系统任务调度的核心，负责管理调用各功能部件并协调各部件的运行；所述算法模块主要负责管理并行算法库；所述数据集模块负责对原始数据进行预处理，并提供高效的数据存取接口，将处理后的数据高效地提交给所述任务调度控制模块以及所述算法模块使用。

技术领域

本发明属于大数据挖掘技术领域，涉及一种基于分布式并行计算的大数据挖掘系统。

背景技术

近些年来，随着数据量的急剧增加，数据挖掘面临着实现难题，数据复杂度和系统计算能力有限的矛盾日益突出，传统的单机系统在计算过程中表现出了速度慢、效率底、能耗高等不足，需要采用并行计算来实现大规模计算。

云计算平台是具备动态资源分配和调度、虚拟化和高可用特点的计算平台，能满足数据挖掘计算性能的要求，为并行数据挖掘提供强有力的支撑。

发明内容

本发明目的在于提供一种基于分布式并行计算的大数据挖掘系统，针对传统单机系统在计算过程中表现出了速度慢、效率底、能耗高等不足等问题，利用数据库分片的思想，通过将数据分片后信息储存到各个分节点中，由一个统一的中央分布单元负责各个分节点信息的汇总和维护，有效地解决了海量数据处理问题，提高了资源的利用率，实现了对用户的按需提供。

为解决上述技术问题，本发明采用如下的技术方案：一种基于分布式并行计算的大数据挖掘系统，该系统包括：客户端模块、任务调度控制模块、算法模块以及数据集模块；其中，所述客户端模块负责为用户提供系统交互界面以及访问接口；所述任务调度控制模块是整个系统任务调度的核心，负责管理调用各功能部件并协调各部件的运行；所述算法模块主要负责管理并行算法库；所述数据集模块负责对原始数据进行预处理，并提供高效的数据存取接口，将处理后的数据高效地提交给所述任务调度控制模块以及所述算法模块使用。

进一步地，所述客户端模块包括计算机、手机等终端用户。

进一步地，所述任务调度控制模块由任务调度控制部件与知识库构成；其中，所述任务调度控制部件可接收用户界面和开放接口发出的客户请求并协调其他各功能部件实现系统功能；所述知识库是知识工程中结构化、易操作、易利用、全面有组织的知识集群，采用知识表示方式在计算机存储器中存储、组织、管理和使用的互相联系的知识片集合，对于用户满意的数据挖掘结果，可作为有用的知识存入知识库，从而引导用户评价挖掘结果。

进一步地，所述算法模块中的并行数据挖掘算法库是一个重要的功能部件，是算法模块的重要支撑，对其的管理是通过所述任务调度控制部件实现的。

进一步地，所述数据集模块主要包括数据仓库与数据文件组成的数据源以及数据预处理与数据存取管理等功能部件。

本发明与现有技术相比具有以下的有益效果：

本发明方案针对传统单机系统在计算过程中表现出了速度慢、效率底、能耗高等不足等问题，利用数据库分片的思想，通过将数据分片后信息储存到各个分节点中，由一个统一的中央分布单元负责各个分节点信息的汇总和维护，有效地解决了海量数据处理问题，提高了资源的利用率，实现了对用户的按需提供。

附图说明

图1是基于分布式并行计算的大数据挖掘系统的整体架构图。

图2是基于分布式并行计算的大数据挖掘系统的任务调度控制各部件的调度关系示意图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。