[发明专利]基于分布式文件系统的仿真分布式并行计算平台及方法

说明书

技术领域

本发明涉及一种基于分布式文件系统的仿真分布式并行计算平台及方法。

背景技术

分布式文件系统(Distributed File Systems)是基于客户机/服务器架构的网络文件系统。一个典型的网络文件系统可能包括多个供多客户端访问的服务端，对等特性允许一些服务器既扮演客户机，又充当服务机的双重角色。例如，用户可以“发表”一个允许其他客户机访问的文件目录，对于客户机来说，这个文件目录与使用本地驱动器无异，目前三种基本的分布式文件系统分别为：网络文件系统(NFS)、Andrew文件系统(AFS)、分布式文件系统(DFS)。

网络文件系统(NFS)最早由Sun微系统公司作为TCP/IP网上的文件共享系统开发。Sun公司估计现在大约有超过310万个系统在运行NFS，大到大型计算机、小至PC机，其中至少有80%的系统是非Sun平台。NFS最初是针对家庭直连远程控制、局域网无盘工作站以及服务器而设计的。价格更低、性能更高的Linux计算集群、多核处理器以及刀锋系列产品的出现，使得人们对更为高效的文件访问的需求异军突起。1984年制定的协议在速度上显然无法满足用户的需求。“NFS从Lustre和GPFS等集群文件系统上感到了压力，Google GFS等Web2.0服务供应商的定制文件系统技术也在向NFS施加影响。”目前NFS已经进展到pNFS阶段，也就是NFS4.1版本。pNFS代表着是NFS十几年最为重要的功能升级。将并行I/O标准化，以及允许客户通过并行方式直连存储设备是pNFS的两项重要成就。

Andrew文件系统(AFS)结构与NFS相似，由卡内基·梅隆大学信息技术中心(ITC)研发、现由前ITC职员组成的Transarc公司负责开发和销售。AFS较NFS有所增强。目前已经有基于AFS2的Coda File System成功应用实施。

分布式文件系统(DFS)是AFS的一个版本，作为开放软件基金会(OSF)的分布式计算环境(DCE)中的文件系统部分。

通过计算机来仿真电力系统实际运行过程已经成为电力系统仿真的主流，早期由于电力系统规模小，模型简单，因此单用户在单机上就能完成数据维护和仿真分析。随着跨区互联电网的形成和电网规模的不断扩大，电网的运行过程越来越复杂，仿真计算量也越来越大，单机的仿真计算已经难以满足工作需求，因此，分布式计算被应用到电力系统仿真领域中，不少公司开发了分布式计算平台。目前推广使用的具有自主产权的电力系统分布式计算平台采用通信中间件传递文件与控制指令，短处比较明显：大文件传输交换效率低，出错几率大，通信效率不高，长处突出表现为：短文件（控制指令）吞吐量大，出错几率极小，通信效率高。

为了发挥现有研究成果——自主产权分布式并行计算平台通信中间件长处，规避实际使用过程中出现的短处，引入分布式文件系统改进分布式并行计算平台通信环境是最佳选择。发明内容

本发明的目的就是为了解决上述问题，提供一种基于分布式文件系统的仿真分布式并行计算平台及方法，它具有大幅提高了输入计算数据与输出计算结果通信效率，从而大幅提高了整个分布式并行计算平台计算效率，同时分布式文件系统的使用，有助于降低网络拥塞状态下大文件传输交换出错几率，提高仿真计算结果可靠性与正确性的优点。

为了实现上述目的，本发明采用如下技术方案：

基于分布式文件系统的仿真分布式并行计算平台，包括：若干客户端，用户通过客户端提交任务到调度节点，由调度节点统一分配任务经由交换机传输到若干计算节点参与计算，所述计算节点计算完成后将计算结果传回调度节点，再由调度节点处理计算结果并且直接写入或通过数据接口写入数据库并通知客户端计算完毕。

所述客户端是用于用户提交任务的，相当于客户体验界面，只要遵守了分布式计算平台相关协议和接口，都可以采用tcp机制调用相关接口提交计算任务请求到分布式计算平台参与计算，并通过数据库读取将计算结果展现给用户。

所述调度节点属于整个分布式并行计算平台的核心服务器，用于任务接收，任务调度，任务分配以及超时管理和控制的节点服务器，每一个用户提交的计算任务请求都由它来统一分配和调度，计算完成后，还由它将计算结果写入异地数据库并且通知客户端任务已计算完成。

所述交换机是一种硬件设备，负责连接多台服务器节点的网络桥梁，让每个服务器之间可以通过有线网或无线网互相通信，从而完成不同服务器之间的消息和数据传送。