[发明专利]一种基于云计算的气象综合业务系统

说明书

本发明提供一种基于云计算的气象综合业务系统，其特征在于，自顶向下将设计为应用层、服务层、数据层和基础层，所述基础层负责数据采集预处理以及服务器集群、网络、存储设备等硬件平台的设计与部署；数据层采用HDFS、HBASE、关系数据库混合式架构，包括大数据基础平台和关系型数据库；服务层基于大数据基础平台，开发大数据平台服务接口，接口主要为上层应用提供一系列数据服务；应用层主要是依托大数据平台实现的数据查询、数据分析以及数据挖掘等业务应用。本发明数据从获取、入库到共享查询间隔不超过10秒，要素值统计分析达到秒级响应；气象自动站报文采集及处理时间：≥2千个文件/秒；在系统设备正常运行情况下，数据整合入库时间：≥2万条记录/秒。

技术领域

本发明涉及一种气象综合业务系统，更具体的涉及一种基于云计算的气象综合业务系统。

背景技术

目前我国已经建成2000多个国家级地面气象观测站和5万多个区域级自动站，每5分钟传输一次报文，观测数据为分钟级。探测技术的发展使得气象数据具有种类多、数据量大、格式多样复杂等特点，气象数据包含地面、高空、海洋、农气、雷达、卫星等14 个大类，数百个子类，既包含 txt、burf、xml 格式等结构化数据，也包含bIn、grIb-1/2、hrIt、netcdf、图像格式等众多非结构化数据。众多的资料属性信息、要素信息、站网信息和空间地理信息等组成丰富的元数据。以地面资料为主的数据传输时效要求越来越严格。探测资料种类多，应用广泛，每年新增的气象数据已达到PB量级，并仍在快速增长中，传统的数据存储、数据服务模式已明显不能适应气象数据激增的现状，进而影响气象服务的效率和质量，需要建设统一的气象数据环境来满足各种气象业务应用需求。

发明内容

发明目的： 本发明目的在于针对现有技术的不足，提供一种化繁为简、提高工作效率的基于云计算的气象综合业务系统。

技术方案： 本发明所述一种基于云计算的气象综合业务系统，自顶向下将设计为应用层、服务层、数据层和基础层，所述基础层负责数据采集预处理以及服务器集群、网络、存储设备等硬件平台的设计与部署；数据层采用HDFS、HBASE、关系数据库混合式架构，包括大数据基础平台和关系型数据库；服务层基于大数据基础平台，开发大数据平台服务接口，接口主要为上层应用提供一系列数据服务；应用层主要是依托大数据平台实现的数据查询、数据分析以及数据挖掘等业务应用。

本发明技术方案的进一步限定为，所述服务层接口主要包含查询与计算两大类，查询类接口支持业务信息查询检索服务，计算类接口支持汇总分析服务。

进一步地，所述应用层主要是各级气象业务部门的各类业务系统、需要访问气象数据的相关行业部门（如水利、国土等）以及未来面向社会公众开发的数据服务等。

有益效果： 本发明提供的一种基于云计算的气象综合业务系统，数据从获取、入库到共享查询间隔不超过10秒，要素值统计分析达到秒级响应；气象自动站报文采集及处理时间： ≥2千个文件/秒；在系统设备正常运行情况下，数据整合入库时间：≥2万条记录/秒。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例1：一种基于云计算的气象综合业务系统，自顶向下将设计为应用层、服务层、数据层和基础层，所述基础层负责数据采集预处理以及服务器集群、网络、存储设备等硬件平台的设计与部署，集群和存储可以随着数据量的增长线性扩充，以满足业务增长的需要；数据层采用HDFS、HBASE、关系数据库混合式架构，包括大数据基础平台和关系型数据库，部署在基础设施之上的大数据基础平台是整个架构的核心，它主要由两部分构成，分别为分布式文件系统和分布式数据库以及集成适合气象数据业务需求的大数据计算和检索引擎。服务层基于大数据基础平台，开发大数据平台服务接口，接口主要为上层应用提供一系列数据服务；应用层主要是依托大数据平台实现的数据查询、数据分析以及数据挖掘等业务应用。