[发明专利]基于影像矩形分块的分布式文件方法及系统

说明书

本发明提供了一种基于影像矩形分块的分布式文件方法及系统，包括几何矩形分块步骤：对遥感影像采用几何矩形方式进行分块，形成多个影像分块，并为每个影像分块进行坐标标识及构建索引；数据索引步骤：对每个影像分块的索引信息进行存储；数据访问步骤：根据所述索引信息对影像分块进行数据访问；语义合并步骤：根据索引信息实现影像分块的合并，形成完整的遥感影像数据。本发明通过自定义分布式文件系统的分块策略，实现了几何矩形分块的遥感影像存储，支持用户或者影像处理任务对数据分块的直接访问和处理；本发明解决分布式文件系统的数据分块的语义问题，为用户提供数据分块位置感知接口以及直接访问数据分块的访问接口。

技术领域

本发明涉及分布式文件系统、遥感影像处理领域，具体地，涉及一种基于影像矩形分块的分布式文件方法及系统。

背景技术

在传统的分布式文件系统中，原始数据是依据数据块大小进行二进制的数据切分，每个数据分块均是大小一致的二进制数据(最后一个分块可能小于其他分块大小)，然后根据一定的存储策略(如容错、网络距离等)分散存储到不同机柜的不同节点中，并形成统一的目录元数据信息，用户基于目录元数据信息进行数据的定位、访问，数据块对用户是透明的。在一些数据密集型和计算密集型混合的任务处理过程中，如高分辨率遥感影像处理，需要反复读写影像，会产生大量的中间文件，如果每次影像读写都需要将影像进行分块、合并，这样势必会导致遥感影像分布式文件系统产生大量的“数据搬移”问题，极易产生网络风暴，造成网络堵塞，从而影响整个遥感影像处理的效率。在遥感影像分布式计算过程中，如何减少“数据搬移”、降低网络压力、充分发挥数据本地化计算的优势，是提高任务处理效率的关键因素。

专利号为CN201510843052的一项发明专利公开了一种基于云平台的地理信息存储系统，采用Hadoop作为基本平台，采用MapReduce和Hadoop分布式文件系统(HDFS)构建地理信息系统。使用MapReduce编程模型并行化解决图像处理问题，同时采用HDFS对图像进行跨多台计算机的数据存储的地理信息存储平台。其中，本发明使用GDAL库对图像进行操作，实现了两种基于HDFS的分布式分块方式：固定分块数分割和固定块大小分割。本发明采用重采样处理方法，即将高分辨率遥感影像中处理得到低分辨率影像。实验将对图像进行不同比例的重采样缩放，且线性拉伸为8位图。但是该发明的缺陷在于：(1)HDFS中NameNode的元数据信息增加，增大了NameNode的内存压力：该发明使用HDFS进行存储N份小图像的时候，在NameNode内存中存储的元数据信息由1份变成N份。而当对较大的遥感影像进行存储的时候，分割的小图像数量较多，则对NameNode的内存将产生较大压力；(2)分割后的图像无法保证独立存储于单个DataNode节点：该发明在将小图像存储到HDFS的时候，仍然需要遵循HDFS的分块及存储原则，即依据设定的数据分块大小BlockSize(例如64M、128M)进行数据存储，当小图像的大小超过了BlockSize的时候，将被分块为若干数据块分别存储在不同的数据节点中。而在对遥感影像进行并行处理的时候，HDFS需要将各个数据块进行合并操作，当遥感影像处理过程较为复杂的时候，将会反复进行数据的分块与合并操作，则会给分布式文件系统带来网络风暴的风险，从而堵塞网络，降低文件访问的效率。