[发明专利]一种基于分布式内存中计算的大数据一体机

说明书

技术领域

本发明属于数据存储和计算技术领域，涉及一种基于分布式内存中计算的大数据一体机。

背景技术

目前在数据存储和计算技术领域，海量数据的分布存储和分析计算需要有高度集成、可靠、高性能的软硬件一体化平台支撑。而提供类似平台的大多数设备，使用的是源于Google的MapReduce/Hadoop大数据技术，主要存在数据和计算相分离且计算速度慢的问题。

发明内容

为了解决上述问题，本发明提供一种基于分布式内存中计算的大数据一体机。该体系采用在内存中计算（in-memorycomputation）技术，处理速度是Hadoop的数十倍，并且使得数据和计算紧耦合。一体机内的大多数节点都可以对其存储的数据进行计算，并且在计算时充分利用内存。

本发明解决其技术问题所采用的技术方案是：将若干台PC服务器通过网络交换机互联，形成一个小型的计算机集群。在每台服务器上安装分布式系统软件。核心服务运行在性能最优的服务器（也称主服务器）上，并由主服务器统一调配，将数据分布存储在各服务器节点，将计算任务根据内存大小等硬件性能合理分配到各节点。该体系还具有内存外自动转换和优化的功能，通过大容量二级存储可以快速地将数据读入内存，以充分利用各节点的内存对存储的数据进行高度并行计算。若干台一体机之间可协同工作、线性扩展性能。

本发明的有益效果是，提供了数据和计算紧耦合的软硬件一体化平台，充分发挥了硬件性能。

下面结合附图和实施例对本实用新型进一步说明。

图1是大数据一体机的接口示意图

图2是大数据一体机的内部结构图

图3是大数据一体机之间的连接示意图

在具体实施过程中，如图1所示，一台大数据一体机外表面上有多个接口。VGA视频接口用于连接主服务器的图形图像输出；若干个USB接口用于鼠标、键盘等外设连接主服务器；Ethernet网口可将一体机内充当路由的某台服务器与机外路由或交换机相连，使得机内各服务器与机外网络相通。

如图2所示，在一体机内，将各服务器的某块网卡与交换机（Switch）相连，并均设置为在同一内网网段，借此使服务器之间连通。服务器电源线接入PDU各插孔，以获得供电。各服务器均配备大容量硬盘和高速内存，且安装有分布式系统软件。其中的某台性能最佳的服务器，比如server1，作为整个一体机集群的主节点，应用于分布式系统软件的配置。

如图3所示，多台一体机通过Ethernet网口连接到同一个网络设备，比如交换机（Switch），可扩展成更大的计算集群，再由一体机内的分布式系统软件统一调配集群内所有资源，达到线性扩展性能的目的。