[发明专利]一种基于分布式平台的大数据传输系统

说明书

本发明涉及一种基于分布式平台的大数据通讯系统，包括：多台机器，通过联网以调配成分布平台，该分布平台包括：主服务器，Map服务器，Reduce服务器。其中主服务器向Map服务器发起请求，首先获得两者之间的Socket通道；当主服务器获得某一Socket通道，将数据写入所述Socket通道的写内存块，写内存块通知写线程去写数据到所述Socket通道中；当主服务器写出数据后，Map服务器对应的Socket通道有数据送过来，通知读线程把Socket通道中的数据读取出来；当Map服务器执行完任务，将中间结果发送给Reduce服务器；Reduce服务器执行完任务，将最终结果发送给主服务器并可视化呈现。

技术领域

本发明涉及计算机领域的数据通讯技术，更具体地，涉及一种分布式平台环境下的大数据的通讯系统。

背景技术

分布计算是一种基于因特网的超级计算模式，在远程的数据中心，几万甚至几千万台电脑和服务器连接成一片。因此，分布计算甚至可以让你体验每秒超过10亿万次的运算能力，如此强大的运算能力几乎无所不能。

随着分布计算节点的增加，面对的就是大数据间的通讯。基于TCP/IP的信息交换是稳定可靠的，但其对底层网络会带来很大的负载。同时，这种信息交换的过程需要软件的支持，某个节点可能同时需要与上百个节点交换信息，这意味着上层软件需要相应地配置大量的进程或者线程用于交互，这对CPU、内存提出了很高的要求。

为了提高节点之间信息交换的效率，往往需要重复使用这些TCP/IP连接和线程/进程资源，因为重新建立这种连接的开销很大。但是，如果重复使用这些TCP/IP连接和线程/进程资源，又会长期占据大量资源，可能拖累整个系统。

写入或者读取出来的数据需要内存存储。传统通讯方式会频繁地申请和释放内存，这对整个系统的性能和稳定性带来很大的负担。

传统的通讯方式是发起方A向接收方B发起请求，要求建立Socket，B接收到消息后给A一个确认反馈，A再发送数据给B，B读取数据，然后启动一个线程去执行数据，当数据执行完，再返回结果给A，A读取结果后关闭Socket。此传统的通讯方式在处理信息的过程中，系统不能释放通讯资源，因为还需要返回处理结果，但事实上处理信息的时候并不会发出或者返回信息，而这一过程可能会很耗时间，这种没有意义的耦合会导致整个系统的处理能力大大降低。

发明内容

针对现有技术中的上述问题，本发明所要解决的技术问题是能避免分布式平台中数据通讯的CPU及内存开销大和响应时间慢的弊端，以满足大数据实时分析的需求，并提高用户体验和整个系统性能。

更具体地，本发明公开了一种基于分布式平台的大数据传输系统，所述系统包括：

多台服务器，对其进行联网以调配成分布式平台，所述分布式平台至少包括：主服务器，Map服务器，Reduce服务器；其中

通过所述主服务器上的数据库管理界面，连接到数据库，读取原始数据列表，再将数据列表存储到Map服务器上；

所述主服务器向所述Map服务器发起请求，首先获得所述主服务器与所述Map服务器之间的Socket通道；

当所述主服务器获得某一Socket通道，将数据写入所述Socket通道对应的写内存块，所述写内存块有消息机制通知写线程去写数据到所述Socket通道中；

当所述主服务器写出数据之后，所述Map服务器对应的Socket通道有数据送过来，有消息机制通知读线程去把Socket通道中的数据读取出来并存储到读内存块中；

当所述Map服务器执行完任务，并计算出中间结果，需要将该中间结果发送给所述Reduce服务器；

当所述Reduce服务器执行完任务，将最终结果发送给所述主服务器；