[发明专利]基于FTP和XML的遥感数据产品自动监控入库方法

说明书

技术领域

本发明属于遥感数据管理技术领域。尤其涉及一种基于FTP和XML的遥感数据产品自动监控入库方法。

背景技术

文件传输协议（File Transfer Protocol, FTP）使得主机间可以共享文件。FTP使用TCP生成一个虚拟连接用于控制信息，然后再生成一个单独的TCP连接用于数据传输。控制连接使用类似TELNET协议在主机间交换命令和消息。文件传输协议是TCP/IP网络上两台计算机传送文件的协议，FTP是在TCP/IP网络和INTERNET上最早使用的协议之一，它属于网络协议组的应用层。FTP客户机可以给服务器发出命令来下载文件，上传文件，创建或改变服务器上的目录。

可扩展标记语言（Extensible Markup Language, XML），用于标记电子文件 使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许 用户对自己的标记语言进行定义的源语言。XML是标准通用标记语言（SGML）的子集，非常适合Web传输。XML提供统一的方法来描述和交换独立于应用程序或供应商的结构化数据。

目前对遥感数据的管理方法有很多，而其中一种是采用文件+元数据库的方 式，即把遥感数据文件存放于文件目录中，而把遥感数据的信息以元数据的形 式存在数据库表中。当需要对遥感数据进行读取时，先从元数据库获得遥感数 据的基本信息，获得遥感数据的文件名、文件大小和文件存放位置，便可以在文件系统中快速找到需要的遥感数据。但这种方法在遥感数据入库时却显得比较繁琐，上传文件与录入数据信息都需要较多的人工参与，即耗费时间又容易出错。而本发明减少了数据入库过程中需要人工判断和操作的部分，让计算机自动监控需要入库的文件，解析XML格式的遥感数据元数据信息，并以FTP的方式将数据上传至服务器，最后将数据信息写入元数据库，整个过程自动完成，需要人工参与的只是把需要入库的数据放入监控文件夹即可，并且具有日志记录功能，一旦发生无法成功入库的情况，工作人员也可以从日志中分析原因并排除故障。

发明内容

本发明的目的是克服现有技术的不足，提出一种基于FTP和XML的遥感数据产品自动监控入库方法。

基于FTP和XML的遥感数据产品自动监控入库方法的步骤如下：

1）数据监控功能模块负责监控数据文件夹中的遥感数据文件，将数据文件 记录到数据记录表中，一旦发现有新数据进入监控文件夹，即视为需要入库的遥感数据，立即激发数据自动入库机制，进入下一步；

2）数据内容解析功能模块负责读取并解析数据中存储元数据信息的XML文件内容，并交给数据信息入库模块；

3）FTP传输功能模块负责与设定的FTP服务器建立连接并打开传输通道，将新增的遥感数据上传至FTP服务器上的指定目录；

4）数据信息入库功能模块负责根据遥感数据的元数据信息，分别实例化对应的遥感数据元数据信息操作模型类，将已经传输到FTP服务器的遥感数据信息录入到元数据库中；

5）日志记录功能模块负责记录数据监控和入库操作历史，内容包括：数据入库时间、数据名称、数据类型、服务器连接状态、入库处理结果，以供用户浏览和查找数据入库记录，若出现数据入库失败的情况，用户也可以根据日志记录获得失败的数据信息，方便故障检查、数据恢复和重新入库。

所述的步骤2）为：需要入库的遥感数据里包含一个描述遥感数据基本内容的元数据信息，元数据信息存储在XML格式的文件中，具体内容包括：文件名、主题、数据类型、数据格式、产品类别、数据质量、比例尺分母、分辨率、开发单位、采集日期、文件个数、文件ID、元数据、备注、平均云量、波段数、地理坐标系名称、投影坐标系名称、地理坐标范围、投影坐标范围、文件存放位置、文件大小、传感器名称、卫星名称。数据内容解析模块负责读取并解析这一XML文件，获得这些信息并交给后面的功能模块。

所述的步骤3）为：在获得新增遥感数据元数据信息之后，根据预先设定的FTP服务器连接参数，与FTP服务器建立连接并发送上传请求，上传请求中包含了步骤2）中获得的文件名、文件大小、文件类型信息，FTP服务器响应这个请求后，便可在本机与FTP服务器之间建立传输通道，然后由本模块将需要入库的遥感数据上传到FTP服务器的指定目录中。

本发明与现有技术相比具有的有益效果：

1）实现了遥感数据的自动入库，该方法具有数据自动监控发现、数据自动上传、数据信息自动入库的特点，是一个透明的、可扩展的、可控制的、细粒度的数据入库管理技术。