[发明专利]一种基于分布式平台的大数据传输系统

摘要

本发明涉及一种基于分布式平台的大数据通讯系统，包括：多台机器，通过联网以调配成分布平台，该分布平台包括：主服务器，Map服务器，Reduce服务器。其中主服务器向Map服务器发起请求，首先获得两者之间的Socket通道；当主服务器获得某一Socket通道，将数据写入所述Socket通道的写内存块，写内存块通知写线程去写数据到所述Socket通道中；当主服务器写出数据后，Map服务器对应的Socket通道有数据送过来，通知读线程把Socket通道中的数据读取出来；当Map服务器执行完任务，将中间结果发送给Reduce服务器；Reduce服务器执行完任务，将最终结果发送给主服务器并可视化呈现。 1

主权项

1.一种基于分布式平台的大数据传输系统，所述系统包括：

多台服务器，对其进行联网以调配成分布式平台，所述分布式平台至少包括：主服务器，Map服务器，Reduce服务器；其中

通过所述主服务器上的数据库管理界面，连接到数据库，读取原始数据列表，再将数据列表存储到Map服务器上；

所述主服务器向所述Map服务器发起请求，首先获得所述主服务器与所述Map服务器之间的Socket通道；

当所述主服务器获得某一Socket通道，将数据写入所述Socket通道对应的写内存块，所述写内存块有消息机制通知写线程去写数据到所述Socket通道中；

在写数据前，先写入一个字节的标识0x95，再写入到达Map服务器所需初始化的任务的class名；

当完成写数据的任务，所述Socket通道就可以被释放，以供别的任务使用；

当所述主服务器写出数据之后，所述Map服务器对应的Socket通道有数据送过来，有消息机制通知读线程去把Socket通道中的数据读取出来并存储到读内存块中；

先读取标识位，查看第一个字节是不是标识0x95，再读取最前面的字符串来生成任务的class，将该任务初始化后，再开始读取所需要的数据；

读取数据完毕之后，将不再绑定所述Socket通道，所述Socket通道重新进入等待状态，等待接收并读取新的数据；

当所述Map服务器执行完任务，并计算出中间结果，需要将该中间结果发送给所述Reduce服务器；

当所述Reduce服务器执行完任务，将最终结果发送给所述主服务器；

所述主服务器接收最终结果，并用可视化的形式呈现给用户。

2.根据权利要求1的基于分布式平台的大数据传输系统，其中所述的服务器共有三台，分别被配置成一台主服务器，一台Map服务器，一台Reduce服务器。

3.根据权利要求1或2的基于分布式平台的大数据传输系统，其中设定每台服务器最大允许建立的通道数为2，因此每台服务器具有4个出口Socket通道和4个入口Socket通道。

4.根据权利要求3的基于分布式平台的大数据传输系统，其中每台服务器为其4个出口Socket通道分配一个写数据的内存块，该内存块大小为5M；此外，还具有一个线程专门负责写数据，收到通知就写数据，没有就等待。

5.根据权利要求3的基于分布式平台的大数据传输系统，其中所述主服务器请求Socket通道，如果该通道没有开通，那就先创建Socket通道连接；如果Socket通道有，但被占用，则查看是否可以开启新通道；如果当前只有一个通道开启，就再开启新通道；如果通道数已满2个，就等待，直到有通道闲置再使用。

6.根据权利要求3的基于分布式平台的大数据传输系统，其中所述Map服务器作为新的信息发起方，请求通道，占用通道，发送结果给Map服务器，并释放通道；而Reduce服务器作为新的信息接收方，读取数据，将任务放入线程池，执行任务。