[发明专利]HDFS网络数据传输优化方法、系统、终端及存储介质

说明书

本发明提供一种HDFS网络数据传输优化方法、系统、终端及存储介质，包括：发送端读取待发送数据并计算待发送数据的校验和；将待发送数据和校验和封装至文件，并将待发送数据和校验和的位置信息记录至文件标头；将所述文件发送至接收端，所述文件由接收端解析出所述待发送数据后，待发送数据经校验落盘存储。本发明通过在传输过程中不再对校验和进行落盘而是动态生成数据校验和，不仅节省了大量的存储资源，而且在内存计算checksum相较于从磁盘直接读取checksum文件效率更高；checksum不落盘可以简化接收端在接收数据时的处理逻辑，提升接收处理数据的效率。

技术领域

本发明涉及服务器技术领域，具体涉及一种HDFS网络数据传输优化方法、系统、终端及存储介质。

背景技术

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是ApacheHadoop Core项目的一部分。HDFS有着高容错性(fault-tolerant)的特点，并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

HDFS的数据传输，主要分为三大类，客户端传输到服务端DataNode、DataNode传输到客户端、DataNode之间的数据传输。为保证数据在传输过程中的完整性和准确性，HDFS的数据传输大多采用校验和的方式对传输数据进行校验。目前的HDFS中，校验和(checksum)由客户端上传服务端DataNode时计算并随数据一起上传，DataNode在接收到checksum数据后，进行数据校验和checksum落盘处理；在客户端向DataNode读取数据时，从本地磁盘读取数据和checksum，进行校验后发送到客户端。这样会存在以下几个问题：一是checksum数据会占用磁盘空间，常用的checksum算法中，checksum数据会占到数据总长度的1％左右，在大数据存储时，其占用的存储空间是相当大的；二是checksum存储在磁盘中，若checksun数据发生异常损坏，则真正的数据无法通过校验，客户端不能正常读取到实际数据；三是对于上述三种数据传输场景，其传输和处理方案不同。

发明内容

针对现有技术的上述不足，本发明提供一种HDFS网络数据传输优化方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种HDFS网络数据传输优化方法，包括：

发送端读取待发送数据并计算待发送数据的校验和；

将待发送数据和校验和封装至文件，并将待发送数据和校验和的位置信息记录至文件标头；

将所述文件发送至接收端，所述文件由接收端解析出所述待发送数据后，待发送数据经校验落盘存储。

进一步的，发送端读取待发送数据并计算待发送数据的校验和，包括：

发送端从磁盘读取待发送数据，按照校验和类型，根据待发送数据长度在内存中计算待发送数据的校验和。