[发明专利]一种大数据一体机

说明书

本发明提供一种大数据一体机，包括多个分布式数据存储模块，分布于相互独立的多个存储器，包括大量的存储节点；数据流模块，用于获取和传输数据流；多个计算机节点，与存储节点一一对应连接，以获取存储节点中存储的数据；数据挖掘模块，连接数据流模块和分布式数据存储模块，将所述数据流分类并根据数据流的类别将数据流传至相应的存储节点中存储；分布式数据管理模块，通过通道选择器与计算机节点连接，以将计算任务指派到与存储着该任务所需数据的存储节点相连接的计算机节点；多个分布式多级容错模块，与存储器一一对应，并连接所述数据流模块、数据挖掘模块、分布式数据管理模块和存储节点，数据流和命令流经对应的分布式多级容错模块。

技术领域

本发明涉及信息技术领域，尤其涉及一种大数据一体机。

背景技术

随着信息技术在人类各项生产生活中的应用不断拓展，可分析的数据呈现出爆炸式增长。高效、迅速地从海量数据中挖掘出潜在价值并转化为决策依据已经成为各行业信息化面临的重大挑战。

一体机是软件与硬件相结合的集成系统产品，其一般集数据处理、数据传输、数据存储三方面于一体。一体机通过预先集成、测试、优化，能够实现快速部署、简化IT基础架构，节省资源。但是组成一体机的软件和硬件时不时的会出现故障和错误，导致死机或运行失败，从而影响计算时间甚至会使数据丢失。所以急需一种具有容错能力、且具有高效运行速度的一体机。

发明内容

有鉴于此，本发明的实施例提供了一种大数据一体机，具有容错能力，且执行速度快、效率高。

本发明的实施例提供一种大数据一体机，包括

多个分布式数据存储模块，分布于相互独立的多个存储器，包括大量的存储节点；

数据流模块，具有输入输出接口，用于获取和传输数据流；

多个计算机节点，与每一所述存储器上的大量的所述存储节点一一对应连接，以获取对应的所述存储节点中存储的数据；

数据挖掘模块，连接所述数据流模块和所述分布式数据存储模块，所述数据挖掘模块根据挖掘算法将所述数据流分类并根据数据流的类别将数据流传至相应的所述存储器中的相应的所述存储节点中存储；

分布式数据管理模块，通过通道选择器与所述多个计算机节点连接，以将计算任务指派到与存储着该任务所需数据的所述存储节点相连接的所述计算机节点；

多个分布式多级容错模块，与多个所述存储器至少一一对应，所述分布式多级容错模块连接所述数据流模块、所述数据挖掘模块、分布式数据管理模块和对应的所有所述存储节点，每一所述分布式多级容错模块以等级方式组织进程组，其中一所述进程组为主进程组，处于动态，其他所述进程组的交互状态由所述主进程组的检查点定期更新，若所述主进程组崩溃，采用后备执行选举算法在其他所述进程组中选择一个进程组作为新的主进程组，数据流的传输和存储及所述分布式数据管理模块发出的命令流经对应的所述分布式多级容错模块。

进一步地，所述挖掘算法为聚类算法、分类算法和预测算法中的一种或者多种，用于将数据分为访问率高的热点数据和访问率低的冷数据，所述冷数据被所述数据挖掘模块传至低速廉价的所述存储器中，所述热点数据被所述数据挖掘模块根据存储预取算法分配至高速且容量大的所述存储器中。

进一步地，分布式数据管理模块包括多个管理节点，每一所述管理节点与一所述存储器对应，且与与之对应的所述存储器中的所有所述存储节点连接，每一所述管理节点包括：

本地数据库管理系统，负责管理与本管理节点对应的所述存储器中的数据；

和数据连接组件，连接该管理节点与其他所有管理节点。

进一步地，所述通道选择器包括多个通道开关，所述通道开关的数量与所述计算机节点的数量一致，且与所述计算机节点一一对应连接。