[发明专利]一种大数据中转传输同步及存储方法

权利要求书

1.一种大数据中转传输同步及存储方法，其特征在于：所述的方法是处于不同网域的分布式集群之间，通过一个网络中拥有公共IP的节点作为名称节点，存储其他位于局域网内的数据节点映射信息与块信息；名称节点所在网域中选择性搭建起HDFS作为中转服务器的存储系统；客户端集群之间，通过与中转服务器的通信，根据所属具体网络环境，通过中转服务器的存储系统作为跳板，传输所需海量大数据；数据传输所用HDFS接口采用RESTful风格发布作为webHDFS的变种实现；在中转服务器各数据节点中建立数据完整性校验机制，保证数据完整与安全；

所述的方法中，如果需要进行传输的数据位于异地分布式集群且在传输过程中客户端双方无法直接取得连接；则通过存储在名称节点上的信息，获取到客户端所需同步传输模块所在地址，通过RESTful的HDFS接口于TCP/IP之上将位于所述客户端的不同数据节点上的数据并发传输至中转服务器的存储系统，传输完成后通过MD5完成数据完整校验，如果数据传输过程中出现丢包，则等待重传直到传输完整或任务失败；在待同步数据传输至中转服务器后，利用相同原理连接另一个客户端，将数据并发传输至所述另一客户端的数据节点完成同步。

2.根据权利要求1所述的大数据中转传输同步及存储方法，其特征在于：所述的方法中，HDFS分布式文件存储工作流程是：处于客户端的分布式集群数据节点通过统一网关与外界因特网相连，拥有公用对外IP地址，处于中转服务器端各数据节点拥有独立公有IP地址，其信息存储在名称节点中；客户端数据节点集群与名称节点建立多对一连接关系，并发将客户端各数据节点中数据发送至中转服务器的存储系统。

3.根据权利要求1所述的大数据中转传输同步及存储方法，其特征在于：当MD5码校验成功，则将本块信息冗余至另外2个客户端数据节点，并返回成功标志；当MD5码指示传输丢包后，根据当前传输块信息，从名称节点中获取块信息与索引信息，从拥有该块的中转服务器数据节点中随机选择一个节点完成重传，达到负载均衡。

4.根据权利要求2所述的大数据中转传输同步及存储方法，其特征在于：当MD5码校验成功，则将本块信息冗余至另外2个客户端数据节点，并返回成功标志；当MD5码指示传输丢包后，根据当前传输块信息，从名称节点中获取块信息与索引信息，从拥有该块的中转服务器数据节点中随机选择一个节点完成重传，达到负载均衡。

5.根据权利要求1至4任一项所述的大数据中转传输同步及存储方法，其特征在于：所述方法的主要步骤是：

S1.名称节点检查读写请求的目标文件是否存在，权限是否满足，满足则进入下一步S2，否则向客户端报告异常；

S2.读写文件之前，客户端数据节点先将文件切分为多个包，向名称节点申请块空间存储数据节点列表；

S3.以packet作为传输基本单元，从客户端数据节点中读取或写入所需的数据块；完成一个客户端数据节点的读写后，继续下一个客户端数据节点的读写；

S4.在过程中如果出现错误，则该读写过程结束，名称节点会在其他冗余机中，选择一个新的客户端数据节点作为替代，将出现错误的客户端数据节点替换掉，然后继续读写；

S5.在完成过程后，名称节点更新其上的块信息与映射信息。

6.根据权利要求1至4任一项所述的大数据中转传输同步及存储方法，其特征在于：

以webHDFS的形式将中转服务器端HDFS接口RESTful风格化对外暴露，在中转服务器中加入身份验证与权限验证，保证整个系统的安全性；其具体HDFS接口与RESTful风格对接对应关系包括：绑定RESTful的Get操作和绑定RESTful的Put操作；

在绑定了所需RESTful对外接口前，需要保证Hadoop平台的正确搭建与启动；在客户端根据暴露的接口直接和名称节点进行通信，名称节点收到相应的操作后通过验证，则触发相应动作进行处理。

7.根据权利要求5所述的大数据中转传输同步及存储方法，其特征在于：

以webHDFS的形式将中转服务器端HDFS接口RESTful风格化对外暴露，在中转服务器中加入身份验证与权限验证，保证整个系统的安全性；其具体HDFS接口与RESTful风格对接对应关系包括：绑定RESTful的Get操作和绑定RESTful的Put操作；

在绑定了所需RESTful对外接口前，需要保证Hadoop平台的正确搭建与启动；在客户端根据暴露的接口直接和名称节点进行通信，名称节点收到相应的操作后通过验证，则触发相应动作进行处理。