[发明专利]基于ZeroMQ与ProtocolBuffer的分布式遥感数据生产系统

说明书

技术领域

本发明涉及一种基于ZeroMQ与ProtocolBuffer的分布式遥感数据生产系统，属于分布式遥感影像技术领域。

背景技术

遥感影像是各种传感器所获信息的产物，是遥感探测目标的信息载体。航天遥感技术经过多年的发展，无论在光谱分辨率、空间分辨率、时间分辨率等方面都有了长足的进步。遥感影像无论在国防安全——如战略规划、军事部署，还是在人民生活——如地图搜索、路线规划中的作用越来越重要。但与此同时，随着国家与人民对遥感影像的需求日益攀升，传统的单机生产系统早已无法满足需求，存在以下不足：

（1）首先单机生产系统的计算能力有限，很难满足日益攀升的需求，单纯地纵向提高计算机的性能，并不能解决根本问题；

（2）如今卫星拍摄的原始数据已经逐步增长到几百GB的数量级，而且还在呈逐步上升的趋势。单机生产系统的存储无法承载如此大规模的影像数据，单机硬盘会很快装满，这使得单机存储系统不易扩展的缺点暴露无遗；

（3）最重要的一点，单机生产系统的可靠性不易保证，当机器出现故障时，当前的计算任务与机器中存储的数据都无法得到保障。

随着大数据时代的到来，分布式计算系统成为了解决超大规模计算的不二选择。分布式计算系统拥有高可靠性、高并发性、易横向扩展等诸多优点。对于以上遥感影像遇到的问题，使用分布式计算系统可以轻松的解决。但分布式计算系统内各个组件间的通信协同问题亟待解决，主要有以下几个问题：

（1）各组件之间需要异步通信，这样可以防止耗时的任务长期占用连接，降低系统的并发度；

（2）上游组件向下游组件下发任务时，当下游组件正忙于其他任务，需要将上游组件的任务缓冲下来，留到下游组件空闲时再做处理，即需要有“削峰”的作用；

（3）可以支持组件的动态加入，即上游组件发布任务时，无需关心下游组件（具体生产者）的数目，下游组件可以动态加入计算系统进行生产工作；

（4）通信方式与消息格式可以支持多种语言、多种平台。

0MQ （ZeroMQ）是一个在LGPL许可协议下的轻量级消息内核。它可用于C、C++、Python、.NET /Mono、Fortran和Java语言。它运行在AIX，FreeBSD的，基于HP-UX，Linux和MacOS下，OpenBSD系统，OpenVMS，QNX Neutrino，Solaris和Windows操作系统。

作为一种消息内核，ZeroMQ提供了多种模式：

（1）Request-Reply模式：为应用间提供有序的单点请求与应答通信；

（2）Publish-Subscribe模式：为应用间提供发布/订阅模式通信；

（3）Parallel Pipeline模式：专为分布式系统提供并发通信——上游应用负责发布任务，并推送到管道中；下游应用负责从管道中拉去任务，支持下游任务动态加入，易于系统扩展。

ProtocolBuffer（以下简称PB）是google 的一种数据交换的格式，它独立于语言，独立于平台。google 提供了多种语言的实现：Java、C#、C++、go 和 python，每一种实现都包含了相应语言的编译器以及库文件。由于它是一种二进制的格式，比使用 xml 进行数据交换快许多。可以把它用于分布式应用之间的数据通信或者异构环境下的数据交换。作为一种效率和兼容性都很优秀的二进制数据传输格式，可以用于诸如网络传输、配置文件、数据存储等诸多领域。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于ZeroMQ与ProtocolBuffer的分布式遥感数据生产系统，主要解决大规模分布式生产遥感影像时分布式计算系统内各个组件的协同与通信问题。

按照本发明提供的技术方案，所述基于ZeroMQ与ProtocolBuffer的分布式遥感数据生产系统，其特征是：包括卫星原始数据引接组件、共享平台组件、数据生产规划组件、数据生产组件和数据导出组件；

所述卫星原始数据引接组件负责将卫星原始数据存入共享平台组件的云存储当中，并向共享平台组件发送消息，请求共享平台组件存储该原始数据的相关信息；

所述共享平台组件负责将卫星原始数据引接组件发送的原始数据元信息与数据生产规划组件发送的数据产品元信息存入到关系型数据库；向数据生产规划组件提供查询接口，供其查询原始数据元信息；向数据导出组件提供查询接口，供其查询与导出数据产品元信息；