[发明专利]海量气候模式输出数据的分布式协同分析系统及方法

说明书

本发明具体涉及一种海量气候模式输出数据的分布式协同分析系统及方法。所述系统包括：中心服务器、多个节点服务器和至少一个Web前端服务设备；所述中心服务器用于存储全局数据信息以及节点服务器信息；所述节点服务器用于节点数据信息的存储和管理、任务分析调度管理以及进行数据分析处理；所述Web前端服务设备用于用户信息维护、数据信息检索、任务提交、分析任务状态查询以及分析结果查询查看与下载。数据分析工作在各个节点服务器完成，因此减少了数据冗余。多个节点服务器之间能够协同工作，所以海量气候模式输出数据的对比分析能够分布式地执行，分析结果能够在线获取。最终，此发明大大提高研究工作的效率。

技术领域

本发明涉及数据分析处理技术领域，具体涉及一种海量气候模式输出数据的分布式协同分析系统及方法。

背景技术

地球系统模式是进行全球变化研究最重要的科学工具之一。它采用数值模拟方法研究地球各个圈层之间联系及其演变规律，理解过去气候演变过程并预测未来可能的全球气候变化。模式模拟不同的地球系统过程会产生大量的输出数据。据统计，在政府间气候变化专门委员会(Intergovernmental Panel on Climate Change，简称IPCC)第五次评估报告(the Fifth Assessment Report，简称AR5)的耦合模式比较计划(The Program forClimate Model Diagnosis and Intercomparison，简称CMIP)中，各模式数据中心共贡献了超过1.5PB的输出数据。研究者需要通过对不同模式的输出数据进行定性与定量的对比分析研究,了解不同模式模拟结果的差异与优劣，为更好地模拟地球系统过程提供依据。

耦合模式对比计划第五阶段(the fifth phase of the Coupled ModelIntercomparison Project，简称CMIP5)目前通过采用分布式存储构架的地球系统网格联盟(Earth System Grid Federation，简称ESGF)站点存储并发布模式数据。这些数据节点分布在全球各地，而我国在清华大学和中科院均有数据节点。这些数据为NetCDF格式的空间数据，数据内部包含了格网数值，时间信息，格网空间信息等。气候模式诊断与对比项目(The Program for Climate Model Diagnosis and Intercomparison，简称PCMDI)的网站(http://pcmdi9.llnl.gov/esgf-Web-fe/)提供了集中查询和检索下载等功能。通过传统方式，研究人员需要通过数据查询，下载等步骤，而后在本地完成分析工作。由于需要将大量的模式输出数据下载到本地，再完成一系列的对比分析，目前模式数据的对比分析工作费时费力，不仅耗费了大量的网络资源，而且有大量的数据冗余。

发明内容

针对现有技术中需要将大量的模式输出数据下载到本地造成时间过长以及容易造成大量数据冗余的缺陷，本发明提供了一种海量气候模式输出数据的分布式协同分析系统及方法。

一方面，本发明提供的一种海量气候模式输出数据的分布式协同分析系统，包括：

中心服务器、多个节点服务器和至少一个Web前端服务设备；

所述中心服务器用于存储全局数据信息以及节点服务器信息；

所述节点服务器用于节点数据信息的存储和管理、任务分析调度管理以及进行数据分析处理；

所述Web前端服务设备用于用户信息维护、数据信息检索、任务提交、分析任务状态查询以及分析结果查看与下载；

其中，任意两个所述节点服务器之间进行P2P通信，并且与所述中心服务器连接，每一个所述Web前端服务设备与距离最近的任一个所述节点服务器连接。

进一步地，所述中心服务器包括：全局数据信息库和节点服务器信息库；