[发明专利]基于Hadoop架构的气象水文数据并发处理平台

说明书

本发明涉及大数据技术领域，具体涉及一种基于Hadoop架构的气象水文数据并发处理平台，其中的数据采集单元接收监测节点根据数据采集任务获取的气象水文数据；数据预处理单元对气象水文数据进行预处理；分布式存储单元存储预处理数据，并根据业务需求对预处理数据进行进一步处理，得到气象分析数据；应用单元基于作业任务向分布式存储单元调取分析数据，基于并行编程的Map Reduce工具对分析数据进行处理，以执行作业任务。分布式的存储方案能够为海量数据提供存储空间，实现对海量气象水文数据的存储，基于并行编程的Map Reduce工具为大数据分析与处理提供新途径，高效地完成对海量气象水文数据的萃取与分析工作。

技术领域

本发明涉及大数据技术领域，具体涉及一种基于Hadoop架构的气象水文数据并发处理平台。

背景技术

由于水文站等气象观测节点分布域广，观测的气象要素种类繁多，同时温度、湿度等水文要素存在时空连续性，因此随着采集频率和观测精度的增加，气象水文数据量出现大规模增长，一般能够达到TB甚至PB级。数据的爆炸式增长对传统的关系型数据库产生了巨大挑战。同时，水文数据的实时分析是气象预测及时性、精确性的重要保障，随着技术的不断进步，作为服务器中数据的主要存储媒介，硬盘的容量已经得到大幅提升，然而硬盘的访问速度提升较小，目前性能较好的硬盘能够达到150MB/s，对于一块1TB的硬盘，读完数据至少耗费1.8h，写入数据的过程耗时更多。采用传统的数据集中存储与分析方式，整个数据分析过程耗时严重，难以保证海量气象水文数据的挖掘与分析工作。

发明内容

有鉴于此，本发明的目的在于提供一种基于Hadoop架构的气象水文数据并发处理平台，以克服目前整个数据分析过程耗时严重，难以保证海量气象水文数据的挖掘与分析工作的问题。

为实现以上目的，本发明采用如下技术方案：

一种基于Hadoop架构的气象水文数据并发处理平台，包括采用Hadoop作为数据存储与计算基础的数据采集单元、数据预处理单元、分布式存储单元和应用单元；

所述数据采集单元，用于向监测节点下发数据采集任务，并接收所述监测节点根据所述数据采集任务获取的气象水文数据；

所述数据预处理单元，用于对所述气象水文数据进行预处理，得到预处理数据；

所述分布式存储单元，用于存储所述预处理数据，并根据预设的业务需求对所述预处理数据进行进一步处理，得到气象分析数据，并存储所述气象分析数据；其中，所述预处理数据和/或所述气象分析数据基于分布式存储的方式存储于多个计算机节点的多个数据块中；

所述应用单元，用于获取作业任务，基于所述作业任务向分布式存储单元调取所述分析数据，基于并行编程的Map Reduce工具对所述分析数据进行处理，以执行所述作业任务，并将所述作业任务的执行结果发送给所述分布式存储单元。

进一步的，以上所述的基于Hadoop架构的气象水文数据并发处理平台，所述分布式存储单元包括分布式基础通信平台数据库、分布式生产数据库和分布式分析数据库；

所述分布式基础通信平台数据库，用于存储系统文件、运行日志归档信息和数据源节点信息；

所述分布式生产数据库，用于存储所述预处理数据，并根据预设的业务需求对所述预处理数据进行进一步处理，得到气象分析数据；

所述分布式分析数据库，用于存储所述气象分析数据，以及来自所述应用单元的所述作业任务的执行结果。

进一步的，以上所述的基于Hadoop架构的气象水文数据并发处理平台，所述分布式存储单元包括DataNode工作节点和NameNode主节点；