[发明专利]一种基于分布式文件系统的遥感数据快速并发读写方法

说明书

本发明提供一种基于分布式文件系统的遥感数据快速并发读写方法，底层物理结构上继承HDFS文件系统特点，包括在计算机群中的每台数据服务器上安装Hadoop系统，并建立HDFS文件系统，然后在每台数据服务器上划分一部分空间作为自有文件系统的物理存储空间；在HDFS业务处理层上进行了一级封装，接管操作系统对文件系统的访问，当操作系统只要求读取文件，且文件数据已经存在，则直接引用HDFS文件系统接口，由HDFS完成文件数据的读取；当操作系统要求对文件的访问包括有写文件操作则全面接管文件操作，由自有文件系统实现数据读写，并在读写数据完成后，将数据同步到HDFS中；所述自有文件系统只对一台服务器进行读写。本发明能够实现海量遥感数据的快速并发读写。

技术领域

本发明涉及计算机应用技术和遥感大数据处理领域，尤其涉及大数据文件的并发读写技术，特别涉及基于分布式文件系统实现遥感数据的快速并发读写技术。

背景技术

随着遥感技术的迅猛发展，各国发射的遥感卫星越来越多，每天接收的卫星数据已经到达PB级，海量遥感数据处理对存储技术和处理速度提出了更高的要求。另一方面，随着计算机特别是互联网技术的迅猛发展，数据存储技术也得到了质的飞跃，特别是近年来云技术的出现，将数据存储技术提高到前所未有的水平。云技术通常采用基于分布式文件系统，既保证高了可靠性又提高了容量和性价比。在众多分布式文件系统中，提供了开源代码的HDFS(Hadoop Distributed File System)分布式文件系统格外受人们欢迎。HDFS是Hadoop项目的核心之一，是分布式数据存储的基础。HDFS基于流数据模式访问超大文件的需求设计，可以运行在性价比高的通用服务器上，具有高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征，为超大数据集(Large Data Set)的处理带来了诸多便利。

但是，HDFS也具有如下3个缺点(这些情况下不适用HDFS)：1、无法实现低延时数据访问，比如毫秒级的读写数据。HDFS只适合高吞吐率的场景，即在某一时间内写入大量的数据，但不支持立刻快速将数据读取回来。2、不支持大量小文件存储。存储大量小文件会占用索引服务(NameNode)的大量内存来存储数据块索引信息，然而HDFS的索引服务内存是有限的，无法实现海量扩充，此外大量索引将导致寻道时间超过读取时间，极大降低存取效率。3、无法并发写入或随机修改文件。HDFS的文件必须独占式访问，不允许多个线程同时写，而且只支持追加(Append)模式，不支持随机修改。然而在遥感大数据处理中，数据改写和更新是必须支持的一种处理模式，遥感影像通常很大，不可能每次都全部重新处理，而是仅修改需要修改的位置，这个特性是由遥感影像专业处理的算法所决定的。

因此，包含以上3个缺点的HDFS无法适用于遥感大数据处理，为此本发明提出了改进分布式文件系统的方法，实现遥感大数据快速并发读写。

发明内容

为解决HDFS的3个缺点问题，本发明对原生HDFS分布式文件系统进行改造，提供一种改进分布式文件系统的方法。

为了实现上述目的，本发明的技术方案如下：

本发明提供一种基于分布式文件系统的遥感数据快速并发读写方法，底层物理结构上继承HDFS文件系统特点，包括在计算机群中的每台数据服务器上安装Hadoop系统，并建立HDFS文件系统，然后在每台数据服务器上划分一部分空间作为自有文件系统的物理存储空间；在HDFS业务处理层上进行了一级封装，接管操作系统对文件系统的访问，当操作系统只要求读取文件，且文件数据已经存在，则直接引用HDFS文件系统接口，由HDFS完成文件数据的读取；

当操作系统要求对文件的访问包括有写文件操作则全面接管文件操作，由自有文件系统实现数据读写，并在读写数据完成后，引用HDFS文件系统的写文件接口将数据同步到HDFS中；所述自有文件系统只对一台服务器进行读写。