[发明专利]空间数据业务的集中式处理与分布式作业框架构建方法

说明书

本发明公开了一种空间数据业务的集中式处理与分布式作业框架构建方法，该方法包括：深入分析数据处理特点，对空间数据及处理业务进行标准化组织，将自动处理业务采用集中并行计算的方式、将交互编辑业务采用分布作业的方式集成到框架中，实现空间数据的统一规则化处理，同时基于“中间件”、“原子化”、“伸缩化”三大原则对空间数据处理框架进行设计，使得框架能够适用于摄影测量与遥感监测应用技术领域内的各种作业场景。本发明的有益效果：本申请实现大数据量空间数据的智能化生产，减少线下功能流转带来的时间冗余，有效提升自动化处理业务与交互作业任务之间的衔接，实现面向空间数据处理多种业务场景下的集中式处理和分布式协同作业。

技术领域

本发明涉及摄影测量以及遥感监测应用技术领域，具体来说，涉及一种空间数据业务的集中式处理与分布式作业框架构建方法。

背景技术

随着我国航空航天技术、测绘技术以及互联网技术的迅猛发展，空中和地面数据获取技术手段不断增强，通过航空、航天、近地等平台获取的遥感数据类型、空间分辨率、时间分辨率、光谱分辨率以及辐射分辨率均取得了跨越式的进步，使得能够获取的空间遥感数据体量也在急剧增加。据不完全统计，全国每日获取的遥感影像数据已达到了PB级，待处理的空间遥感数据已经具备明显的大数据量特征，目前针对大数据量遥感数据主要采用GPU硬件加速、集群式处理、云计算、高性能计算等处理技术针对若干业务类型或处理场景进行处理，只能解决局部大数据量空间数据业务场景下的批量或分布式处理,同时遥感大数据的多类不确定性、计算资源无法智能整合与均衡调度、无法针对交互式作业进行规划与协同作业等问题的影响，当前尚不具备一套面向大数据量空间数据业务的集中式处理与分布式作业框架，无法满足日趋增长的大数据量空间遥感数据智能处理的迫切需求。

伴随着高光谱航空航天遥感影像技术的不断提高，基于航空航天高光谱遥感影像进行快速遥感解译、自动变化发现与提取逐渐成为遥感监测应用方向的主流作业方法，基于该方法同样也为遥感监测数据处理带来了大数据量处理特征，当前在遥感监测应用方向上的成熟商用软件或科研软件主要关注点放置在不同要素提取算法研究上，通过利用高性能GPU硬件、机器学习算法、深度学习算法、半自动变化检测等算法对遥感影像进行典型要素的信息提取与变化发现，后续在人工分配作业，通过交互作业软件进行编辑作业，在作业模式上，也尚不具备一种通用的集中式处理与分布式作业框架，无法满足当前大数据量下遥感监测应用处理业务的智能化作业需求。

综上所述，在摄影测量处理与遥感监测应用处理技术领域，针对当前的大数据量遥感数据处理业务场景，亟待推出一套通用性的空间数据业务的集中式处理与分布式作业框架显的由为重要。

发明内容

针对相关技术中的上述技术问题，本发明提出一种空间数据业务的集中式处理与分布式作业框架构建方法，能够解决摄影测量处理以及遥感监测应用技术领域内，大数据量的空间数据处理场景。

为实现上述技术目的，本发明的技术方案是这样实现的：空间数据业务的集中式处理与分布式作业框架构建方法，该方法包括以下步骤：

S1：配置生产方案，基于业务流程管理数据库提供的方案模板，依据实际生产任务需求，选择本次生产的方案；

S2：构建任务流程，基于已集成的摄影测量处理插件与遥感监测应用处理插件，采用定制的业务流程技术进行可视化、图形化的工作流设计，明确定义生产过程中各环节之间的衔接关系；

S3：部署任务流程，基于已构建完成的业务流程，通过任务流程配置能力对任务流程的名称、英文保存路径、任务的流程描述内容进行配置；

S4：数据建模，依托生产数据管理服务，支持对摄影测量处理与遥感监测应用处理技术领域的原始影像数据、立体模型数据、空三加密数据、高光谱数据、光谱特征数据，采用统一的建模方案进行数据标准化，并同步形成模型化的业务数据集，为后续生产流程调用提供数据基础；