[发明专利]一种气象数据管理方法

说明书

本申请涉及一种气象数据管理方法，包括：制定多源气象数据的时空分辨率标准，建立标准统一的多维网格天气数据集；基于所述多维网格天气数据集的时空分辨率标准建立数据加工及数据转换标准，对所述多源气象数据进行网格化转换；利用Cassandra技术建立分布式无中心数据库，将所述网格化转换后的多源气象数据进行聚合并分成多个节点，同时将所有节点统一组建一个集群，对所述气象数据进行统一管理。本申请气象数据管理方法通过建立标准统一、易于融合的多维网格天气数据集，并建立基于Cassandra技术的分布式无中心数据库，对气象数据进行统一管理，满足各类气象业务系统读取、处理、存储和分析、信息共享等方面的需求。

技术领域

本申请属于气象服务技术领域，特别涉及一种气象数据管理方法。

背景技术

随着气象事业的发展，气象大数据特征越来越明显，一方面，随着气象事业的发展，气象数据来源途径的不断增加，数据类型不断丰富，数据量呈指数地快速增长，如深圳市气象局现有上百个气象业务系统，每天产生超过500GB的数据，且以几何级数增长。传统的IT基础架构方式给管理员和未来业务的扩展带来巨大挑战，如何安全高效快速地处理、融合、解译和应用这些不同类型的海量数据对我们提出了更大的挑战。另一方面，公众对气象数据需求也越来越丰富和多样化，实现天气数据集的快速制作、标准存储、实时共享、精准监控、高效分发，实现多要素、多层次、高时空分辨率的精细化天气监测预报预警数据快速高效地为也是应对大数据和移动互联网环境下多样化和精细化的气象服务需求，对于提升服务效果意义重大。

气象灾害种类多、频率高、危害重、损失大，尤其是雷雨大风、短时强风、冰雹、龙卷风等灾害性天气具有空间尺度小、生命史短、突发性强、破坏力大等特点，在预警预报中资料的及时处理尤其重要，需要在短时间内将多要素、多层次、高时空分辨率数据的大量监测预报数据快速处理后提供给预报员分析使用，气象部门要求监测资料的提供速度由分钟级提高到秒级。为了有效应对这些挑战，满足这些需求，迫切需要引进先进的技术和方法，将这些数据从简单静态向智能动态转变管理，满足各类气象业务系统对数据进行读取、处理、存储和分析、信息共享等方面的需求，实现海量数据的归档、备份、检索和后处理等功能。

发明内容

本申请提供了一种气象数据管理方法，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

为了解决上述问题，本申请提供了如下技术方案：

一种气象数据管理方法，包括以下步骤：

步骤a：制定多源气象数据的时空分辨率标准，建立标准统一的多维网格天气数据集；

步骤b：基于所述多维网格天气数据集的时空分辨率标准建立数据加工及数据转换标准，对所述多源气象数据进行网格化转换；

步骤c：利用Cassandra技术建立分布式无中心数据库，将所述网格化转换后的多源气象数据进行聚合并分成多个节点，同时将所有节点统一组建一个集群，对所述气象数据进行统一管理。

本申请实施例采取的技术方案还包括：在所述步骤a中，所述制定气象数据的时空分辨率标准具体包括：制定雷达拼图、雷达拼图外推、QPE\QPF一小时、两小时、三小时的格点数据、雷电及预报、风场的多维数据集的时空分辨率标准；制定自动站格点实况数据、卫星云图的多维数据集的时空分辨率标准；制定分区预报格点预报数据的格点实况和各3小时预报、24小时预报、10天预报的多维数据集的时空分辨率标准；制定中尺度模式产品的多维数据集的时空分辨率标准。

本申请实施例采取的技术方案还包括：在所述步骤a中，所述建立标准统一的多维网格天气数据集具体为：定义天气实况数据及预报数据的尺度，不同尺度对应不同的时空分辨率；定义4级网格数据尺度，对天气观测中卫星、雷达数据进行加密和抽稀以适应不同的空间分辨率，并对时间进行插值以适应不同的时间分辨率。