[发明专利]一种提高前处理模块和后处理模块效率的方法及系统

说明书

技术领域

本发明涉及WRF(中尺度数值气象预报)领域，特别涉及一种提高前处理模块和后处理模块效率的方法及系统。 

背景技术

WRF技术主要研究大气中尺度运动，关系到区域重大灾害性天气的产生和发展变化。主要应用卫星、雷达、风廓线仪和自动观测站等探测工具，对中尺度天气过程进行模拟研究和预报试验。 

WRF系统具有巨大的、惊人的计算量，包括前处理(WPS)模块、主模式模块以及后处理模块。参见图1，在WRF前处理模块启动前，需要将输入到前处理模块的GFS(全球预报系统)气象数据由存储设备中拷贝至计算节点的硬件系统内存RAM中，之后启动前处理模块对GFS数据进行处理；接着启动WRF主模式模块进行积分运算，然后将WRF主模式模块的计算结果由存储设备中拷贝至计算节点的硬件系统内存RAM中，之后启动WRF系统中的后处理模块对WRF计算结果进行后处理。快速地将GFS(全球预报系统)气象数据以及将主模式模块的计算结果由存储设备拷贝至计算节点的硬件系统内存RAM中，是提高前处理模块和后处理模块的数据处理效率的一个重要因素。 

如何将输入到前处理模块的GFS(全球预报系统)气象数据快速地拷贝至硬件系统内存RAM中以及将WRF主模式模块的计算结果快速地拷贝至硬件系统内存RAM中，是一个亟待解决的问题。 

发明内容

为解决上述问题，本发明提供了一种提高前处理模块和后处理模块效率的方法，其特征在于，包括以下步骤： 

A.为I/O节点设置锁变量； 

B.通过为所述锁变量赋值，控制计算节点和存储设备进行数据交互操作。 

通过在I/O节点上设置锁变量，控制装置可依次启动各个计算节点组中的计算节点执行系统所分配的任务。 

其中，步骤B包括：配置与所述存储设备进行数据交互操作的计算节点，并将所述计算节点的标识符存储在所述锁变量中；接收各个计算节点的读写启动命令；当计算节点的标识符包含在所述锁变量中所存储的计算节点标识符中，则所述计算节点通过所述I/O节点对所述存储设备中的数据进行读写操作，并在所述计算节点完成对所述存储设备中的数据读写操作后，控制装置清空所述锁变量，并对所述锁变量重新进行赋值。 

控制装置根据系统所分配的任务，可依次将计算节点组中的计算节点的标识符赋值给锁变量，只有锁变量标识过的计算节点才可通过I/O节点与存储设备进行数据交互操作，其他节点无法通过I/O节点与存储设备进行数据交互操作，从而可实现依次启动各个计算节点组中的计算节点执行系统所分配的任务。 

其中步骤B中的接收各个计算节点的读写启动命令后，还包括：当计算节点的标识符没有包含在所述锁变量中的计算节点标识符中，则将所述计算节点的标识符存储到等待队列中，并在所述控制装置清空所述锁变量并对所述锁变量重新进行赋值时，将所述等待队列中排在前面的计算节点标识符存储到所述锁变量中。 

通过锁变量，其他节点无法连通存储设备，从而确保锁变量中的计算节点进行读写操作，当该计算节点完成读写操作后，才将等待队列中的计算节点分配给锁变量，从而实现依次启动各个计算节点组中的计算节点执行系统所分配的任务。 

其中，所述等待队列的计算节点按照提出读写请求的时间进行排序。 

通过时间控制各个计算节点的读写操作，提供了数据处理的效率。 

其中，所述等待队列的计算节点按照读写请求的优先级进行排序。 

通过优先级控制各个计算节点的读写操作，提供了数据处理的效率。 

其中，所述计算节点是通过计算节点组与所述存储设备相连接。 

通过将计算节点分组，通过组来完成系统所分配的任务，提高了数据处理的效率。

本发明提供了一种提高前处理模块和后处理模块效率的系统，包括：至少多于一个的计算节点、存储设备、用于连接所述计算节点和存储设备的I/O节点以及控制装置，其特征在于，所述控制装置还包括：锁变量设置单元，用于为I/O节点设置锁变量；控制单元，用于通过为所述锁变量赋值，控制计算节点和存储设备进行数据交互操作。 

通过在I/O节点上设置锁变量，控制装置可依次启动各个计算节点组中的计算节点执行系统所分配的任务。