[发明专利]基于Hadoop架构的气象水文数据并发处理平台

权利要求书

1.一种基于Hadoop架构的气象水文数据并发处理平台，其特征在于，包括采用Hadoop作为数据存储与计算基础的数据采集单元、数据预处理单元、分布式存储单元和应用单元；

所述数据采集单元，用于向监测节点下发数据采集任务，并接收所述监测节点根据所述数据采集任务获取的气象水文数据；

所述数据预处理单元，用于对所述气象水文数据进行预处理，得到预处理数据；

所述分布式存储单元，用于存储所述预处理数据，并根据预设的业务需求对所述预处理数据进行进一步处理，得到气象分析数据，并存储所述气象分析数据；其中，所述预处理数据和/或所述气象分析数据基于分布式存储的方式存储于多个计算机节点的多个数据块中；

所述应用单元，用于获取作业任务，基于所述作业任务向分布式存储单元调取所述分析数据，基于并行编程的Map Reduce工具对所述分析数据进行处理，以执行所述作业任务，并将所述作业任务的执行结果发送给所述分布式存储单元。

2.根据权利要求1所述的基于Hadoop架构的气象水文数据并发处理平台，其特征在于，所述分布式存储单元包括分布式基础通信平台数据库、分布式生产数据库和分布式分析数据库；

所述分布式基础通信平台数据库，用于存储系统文件、运行日志归档信息和数据源节点信息；

所述分布式生产数据库，用于存储所述预处理数据，并根据预设的业务需求对所述预处理数据进行进一步处理，得到气象分析数据；

所述分布式分析数据库，用于存储所述气象分析数据，以及来自所述应用单元的所述作业任务的执行结果。

3.根据权利要求1所述的基于Hadoop架构的气象水文数据并发处理平台，其特征在于，所述分布式存储单元包括DataNode工作节点和NameNode主节点；

所述NameNode主节点，用于获取来自客户端的数据写入请求，所述数据写入请求包括待写入数据文件的数据量和文件块配置信息；并根据所述数据量和所述文件块配置信息确定第一目标DataNode工作节点的地址信息和目标配置信息，将所述第一目标DataNode工作节点的地址信息和所述目标配置信息发送给所述客户端，以便于所述客户端根据所述目标配置信息将所述待写入数据文件划分成多个目标数据块，并根据所述第一目标DataNode工作节点的地址信息按顺序将所述目标数据块写入到每个第一目标DataNode工作节点中。

4.根据权利要求3所述的基于Hadoop架构的气象水文数据并发处理平台，其特征在于，所述NameNode主节点，还用于获取来自所述客户端的数据读取请求；所述数据读取请求包括读取数据文件的基本信息；根据所述读取数据文件的基本信息询问对应的DataNode工作节点，以确定存储所述读取数据文件的第二目标DataNode工作节点的地址信息；将所述第二目标DataNode工作节点的地址信息发送给所述客户端，以便于所述客户端根据所述第二目标DataNode工作节点的地址信息访问所述第二目标DataNode工作节点，读取所述读取数据文件。

5.根据权利要求3所述的基于Hadoop架构的气象水文数据并发处理平台，其特征在于，还包括备份NameNode主节点；

所述备份NameNode主节点运行在单独物理机上，用于保存所述NameNode主节点的镜像副本，并在检测到所述NameNode主节点故障时启用，以代替故障的所述NameNode主节点。

6.根据权利要求1所述的基于Hadoop架构的气象水文数据并发处理平台，其特征在于，所述应用单元包括JobTracker主节点、TaskTracker工作节点和调度器；

所述JobTracker主节点，用于获取所述作业任务，将所述作业任务放入作业队列中；以及，监控所述TaskTracker工作节点的工作信息，并将所述工作信息发送给所述调度器；

所述调度器，用于根据所述工作信息，为所述TaskTracker工作节点分配所述作业队列中的作业任务；

所述TaskTracker工作节点，用于基于并行编程的Map Reduce工具对所述分析数据进行处理，以执行分配到的作业任务。