[发明专利]电力系统在线超实时仿真的流式数据快速分发方法及系统

说明书

本发明提出一种电力系统在线超实时仿真的流式数据快速分发方法及系统，利用双向带宽、线程级并行和流水线技术实现了数据流在计算节点内的相互并行传输，以提高资源利用率。本发明的目标是实现电力系统在线超实时仿真的流式数据快速分发，达到在万兆网络环境下将百兆仿真数据文件以秒级时间高效地分发至计算集群的百台节点上，从而达到在线超实时仿真的技术效果。

技术领域

本发明涉及流式数据分发领域，并且更具体地，涉及一种电力系统在线超实时分布式仿真计算的流式数据快速分发系统及方法。

背景技术

近年来，高性能计算集群管理技术发展迅猛，利用高性能计算集群进行电力系统并行仿真计算已经成为了现实，在电力系统离线仿真与在线分析领域起到了关键性的支撑作用。但是，随着我国电力系统互连规模不断扩大，为了适应新型装置与技术的广泛应用和电力市场化后运行方式的多变特点，进一步提高电力系统安全稳定的运行水平，需要实现电力系统由离线仿真到在线仿真计算的转变，达到在线实时甚至超实时的水平。这就对分布式集群中节点计算数据的调度与分发速度提出了新要求，分布式计算平台需要在保障数据的完整性和可靠性的前提下，尽可能缩短向节点分发数据的时间，最大限度减少集群管理开销对于仿真计算时间的影响。目前的传统数据分发无法满足秒级的要求，进而会影响在线仿真的计算速度。

现有的传统电网分布式平台中的数据分发方式有三种，一是利用点对点可靠单播将所有计算数据依次串行传输到每个计算节点上，这种技术会保证所有数据的完整性与可靠性，但当数据规模或节点规模不断增大时，分发时间呈线性增加，效率显著降低；二是采用UDP分发将数据分发到每个计算节点上，由于UDP是不可靠传输，需要在应用层保证整个传输过程的可靠性，需要处理超时、丢包等各种网络异常情况，实现复杂且稳定性差，而且该方法不能够自适应节点网络拓扑变化，可扩展性和鲁棒性较差；三是采用共享文件系统的方式，将所有需要获取数据的节点挂载在同一个文件系统上，再由每个节点将数据各自拷贝至本地文件系统下从而完成数据的获取，由于共享文件系统有较大的同步延迟，所拷贝的数据文件目录复杂，会导致效率低下且容易出现拷贝数据不完整的情况。

在电网分布式平台中，数据分发传统技术的缺陷在于没有充分利用接收数据的计算节点的网络资源，所有的计算节点只是单一的接收数据，并没有利用节点上行带宽，使之在接收的同时能将数据转发给其余节点。

发明内容

本发明的目的是解决上述现有技术在分发大规模数据时效率低下、不可靠且扩展性差的问题，提出了一种电力系统在线超实时仿真的流式数据分发系统，本平台采用了一种基于可靠传输协议的层次化流式数据分发方法，利用线程级并行技术与流水线技术，实现了将大电网仿真计算的实时数据一对多分发给集群的所有可用节点，在保障可靠性的同时提高了分发效率。

为达到上述目的，本发明提出一种电力系统在线超实时仿真的流式数据快速分发方法，其中包括：

步骤1、获得数据分发目标节点集合，即可用计算节点的数量N；

步骤2、获得数据文件及文件属性信息，整体大小为S，作为数据流下发；

步骤3、计算数据流大小S按当前可用计算节点数量N均匀切分成大小为B的分片，使得(N-1)*B＜S＜N*B，第N块(即最后一块)分片的大小可以小于等于B；

步骤4、为每块分片添加唯一标识信息H，则每块分片大小为(B+H)；

步骤5、若H＞S，则选择直接一对多并行下发数据流S；若H＜S，则选择并行下发数据分片(B+H)；

步骤6、运用零拷贝技术，避免了内核缓冲区和用户缓冲区之间的数据拷贝，通过直接内存访问(DMA)将磁盘上的数据流S拷贝到系统内核缓冲区中，再将内核缓冲区中的数据直接拷贝至socket缓冲区中，通过DMA将数据拷贝给协议栈实现分片数据的发送；