[发明专利]一种气象数据管理方法有效
| 申请号: | 201810904160.7 | 申请日: | 2018-08-09 |
| 公开(公告)号: | CN109241161B | 公开(公告)日: | 2022-02-01 |
| 发明(设计)人: | 张文海;张海强;陈林锋 | 申请(专利权)人: | 深圳市雅码科技有限公司 |
| 主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/27;G01S13/95;G06Q50/26 |
| 代理公司: | 深圳市科进知识产权代理事务所(普通合伙) 44316 | 代理人: | 曹卫良 |
| 地址: | 518067 广东省深圳市南*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 气象 数据管理 方法 | ||
1.一种气象数据管理方法,其特征在于,包括以下步骤:
步骤a:制定多源气象数据的时空分辨率标准,建立标准统一的多维网格天气数据集;
步骤b:基于所述多维网格天气数据集的时空分辨率标准建立数据加工及数据转换标准,对所述多源气象数据进行网格化转换;
步骤c:利用Cassandra技术建立分布式无中心数据库,将所述网格化转换后的多源气象数据进行聚合并分成多个节点,同时将所有节点统一组建一个集群,对所述气象数据进行统一管理;
在所述步骤a中,所述制定多源气象数据的时空分辨率标准具体包括:制定雷达拼图、雷达拼图外推、QPE\QPF一小时、两小时、三小时的格点数据、雷电及预报、风场的多维数据集的时空分辨率标准;制定自动站格点实况数据、卫星云图的多维数据集的时空分辨率标准;制定分区预报格点预报数据的格点实况和各3小时预报、24小时预报、10天预报的多维数据集的时空分辨率标准;制定中尺度模式产品的多维数据集的时空分辨率标准;
在所述步骤a中,所述建立标准统一的多维网格天气数据集具体为:定义天气实况数据及预报数据的尺度,不同尺度对应不同的时空分辨率;定义4级网格数据尺度,对天气观测中卫星、雷达数据进行加密和抽稀以适应不同的空间分辨率,并对时间进行插值以适应不同的时间分辨率。
2.根据权利要求1所述的气象数据管理方法,其特征在于,所述步骤a还包括:利用网格计算技术,建立多维网格天气数据集应用支持系统;所述多维网格天气数据集应用支持系统用于多维网格天气数据集的快速制作、标准存储、实时共享、精准监控、高效分发。
3.根据权利要求2所述的气象数据管理方法,其特征在于,在所述步骤b中,所述建立数据加工及数据转换标准具体包括:建立雷达拼图、雷电、风场数据的数据加工及数据转换标准;建立自动站实况数据、卫星云图数据的数据加工及数据转换标准;建立其他站点类型数据的数据加工及数据转换标准;建立中尺度模式产品格点实况及预报数据的数据加工及数据转换标准。
4.根据权利要求3所述的气象数据管理方法,其特征在于,在所述步骤c中,所述利用Cassandra技术建立分布式无中心数据库具体包括:客户端连接至节点并发出read/write请求时,该节点充当所述客户端与包含请求数据的节点之间的协调者,利用配置的partitioner和replicaplacement策略确定获取请求的节点。
5.根据权利要求4所述的气象数据管理方法,其特征在于,在所述步骤c中,所述利用Cassandra技术建立的分布式无中心数据库还包括:建立分布式数据存储体系,将所有存放气象数据的服务器划分成4个数据节点,再把所有数据节点随机分配到一致性哈希的圆环上;所述数据节点划分包括:
Node1:存放雷达拼图、雷达拼图外推、QPE\QPF、雷达TREC风场、雷达组合反射率、雷达径向速度、雷达回波顶高、冰雹、雷电及预报、多高度风场相关产品数据的数据节点划分;
Node2:存放自动站格点实况数据、分区预报格点预报数据的格点实况和各3小时预报、24小时预报、10天预报数据的数据节点划分;
Node3:存放QPE\QPF一小时、两小时、三小时的格点数据、雷达拼图格点数据的数据节点划分;
Node4:存放EC\JMA中尺度模式产品、卫星云图产品以及各类报文、传真文件的数据节点划分。
6.根据权利要求5所述的气象数据管理方法,其特征在于,在所述步骤c中,所述利用Cassandra技术建立的分布式无中心数据库具体还包括:系统数据分区和节点数据的增减管理;在系统节点间相互连通之后,采用一致性哈希的方法,用同样的哈希函数计算数据对象和节点的哈希值,用节点的哈希值作为数据集的切分点,对气象产品数据集进行切分,并存放到各个节点上。
7.根据权利要求6所述的气象数据管理方法,其特征在于,在所述步骤c中,所述利用Cassandra技术建立的分布式无中心数据库具体还包括:建立系统数据副本,采取Cassandra中的副本策略,复制数据副本到协调者节点的N-1个后继节点上。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市雅码科技有限公司,未经深圳市雅码科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810904160.7/1.html,转载请声明来源钻瓜专利网。





