[发明专利]一种遥感数据处理方法、系统、电子设备和介质

说明书

本发明提供了一种遥感数据处理方法、系统、电子设备和介质。所述方法包括：构建N个计算节点，计算节点之间通过高速网络连接，通过数据总线进行数据传递，其中，N≥1；当有一轨遥感原始码流数据待处理时，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述处理任务对原始码流数据进行数据处理，同时将处理得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。本发明基于数据驱动自动发起数据处理任务，数据处理结果在每个处理任务环节之间利用数据总线进行流式传递，提高了处理速度，也保证了时效性。

技术领域

本发明涉及一种遥感数据处理方法、系统、电子设备和介质。

背景技术

随着遥感技术的发展，遥感数据应用于越来越多的领域，例如环境监测、灾害预警、测绘等。因此对遥感数据处理的时效性提出了更高的要求。

现有遥感数据的处理通常采用外部(外部系统或人工)指令的方式驱动数据处理流程，系统响应时效性比较低。

现有技术对遥感数据的处理通常为基于批处理框架实现，各个数据处理模块之间通过磁盘等存储设备将上一个数据处理模块已处理完成的数据存储至磁盘中，下一个数据处理模块从磁盘中取出待处理的数据，再进行数据处理。这样的处理模式需要上一个处理模块将数据全部处理完成后，下一个处理模块再开始处理数据。同时，处理模块通过磁盘将数据一批一批的通过多次存储和多次取出实现数据的处理。批处理框架下的数据处理过程慢，时效性低。

发明内容

(一)要解决的技术问题

现有遥感数据的处理通常采用外部(外部系统或人工)指令的方式驱动数据处理流程，系统响应时效性比较低。

现有技术对遥感数据的处理通常为基于批处理框架实现，需要上一个处理模块将数据全部处理完成后，下一个处理模块再开始处理数据。同时，处理模块通过磁盘将数据一批一批的通过多次存储和多次取出实现数据的处理。批处理框架下的数据处理过程慢，时效性低。

(二)技术方案

本发明一方面提供了一种遥感数据处理方法，所述方法包括：步骤101：构建N个计算节点，所述N个计算节点之间通过高速网络连接，通过数据总线实现数据传递，其中，N≥1；步骤102：获取待处理的一轨遥感原始码流数据，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述处理任务对所述原始码流数据进行数据处理，同时将已处理完成得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。

可选地，所述步骤102包括：步骤1021，对所述N个计算节点进行分组，至少得到数据接入计算节点组、解压缩计算节点组、分景编目计算节点组及产品生产计算节点组，其中，每个计算节点组至少包括一个计算节点；步骤1022，检测到一轨新的原始码流数据时，所述至少一个数据接入计算节点组将所述原始码流数据进行帧同步处理得到帧数据，同时将所述帧数据通过数据总线传递至所述解压缩计算节点组；步骤1023，所述至少一个解压缩计算节点组将所述帧数据进行解压缩处理，同时将解压缩处理后的格式化数据通过数据总线传递至所述分景编目计算节点组；步骤1024，所述至少一个分景编目计算节点组对解压缩处理后的格式化数据进行分景，得到分景数据，当数据够一景时，在至少一个产品生产计算节点组上启动产品生产软件，将所述分景数据通过数据总线传递至产品生产计算节点组；步骤1025，所述产品生产计算节点组根据所述分景数据，生成遥感影像和元数据；步骤1026，将所述遥感影像和元数据存储在高速缓存设备中。

可选地，所述方法还包括：根据遥感数据处理任务对N个计算节点进行调度和监控。