[发明专利]电力系统在线超实时仿真的流式数据快速分发方法及系统

权利要求书

1.一种电力系统在线超实时仿真的流式数据快速分发方法，其特征在于，包括：

步骤1、获得数据分发目标节点集合，以确定可用节点的数量N；

步骤2、获得数据文件及文件属性信息，整体大小为S，作为数据流下发；

步骤3、计算数据流大小S按当前可用节点数量N均匀切分成大小为B的分片，使得(N-1)*B＜S＜N*B；

步骤4、为每块分片添加唯一标识信息H，则每块分片大小为(B+H)；

步骤5、若H＞S，则选择直接一对多并行下发数据流S；若H＜S，则选择并行下发数据分片(B+H)；

步骤6、运用零拷贝技术，避免内核缓冲区和用户缓冲区之间的数据拷贝，通过直接内存访问将磁盘上的数据流S拷贝到系统内核缓冲区中，再将内核缓冲区中的数据直接拷贝至socket缓冲区中，通过DMA将数据拷贝给协议栈实现分片数据的发送；

步骤7、N个可用节点接收数据，若收到数据大小S_r＝S，即等于数据文件属性信息中的文件大小，则进行校验、解析与持久化操作；若收到数据大小S_r＜S，即小于文件大小，则将接收到的部分分片转发给其余N-1个可用节点，同时接收其余N-1个可用节点发来的其他分片；

步骤8、若接收到其余N-1个可用节点发来的数据大小之和等于S，在确认所有分片标识信息H未缺失后，对数据流S进行拼接，并校验、解析、整合与持久化；当N个计算节点上的接收模块都完成分片拼接、数据流校验、解析、整合与持久化后，数据分发完成。

2.如权利要求1所述的电力系统在线超实时仿真的流式数据快速分发方法，其中该步骤2中文件属性信息包括数据文件名、数据文件路径和数据文件大小。

3.如权利要求1所述的电力系统在线超实时仿真的流式数据快速分发方法，其中该步骤4中标识信息包括分片编号、分片大小和分片所属数据文件名。

4.如权利要求1所述的电力系统在线超实时仿真的流式数据快速分发方法，其中该步骤8中当所有计算节点收到所有的完整分片后，将其拼接还原成完整的数据流，再对数据流进行：校验，防止传输中数据发生错误；解析，得到数据文件的路径以及数据内容并写入数据文件中；整合，按照路径还原原始目录结构；持久化，将数据写入本地磁盘或分布式存储中进行持久化存储。

5.一种电力系统在线超实时仿真的流式数据快速分发系统，其特征在于，包括：

模块1、构建由一个终端服务器和多个计算节点构成的分布式电力计算系统，其中终端服务器与所有计算节点间通过万兆以太网互联，所有计算节点两两之间通过万兆以太网互联；

模块2、在线运行该分布式电力计算系统，该终端服务器根据各计算节点的负载信息，从所有计算节点中选定可用节点，并向所有计算节点广播可用节点的IP，所有可用节点间建立基于可靠传输协议的全连接；

模块3、若监测到当前计算节点负载超出预设范围，则主动推送该当前计算节点的负载信息至该终端服务器，该终端服务器调整节点连接关系；

模块4、该终端服务器持续获取在线运行数据，并将该在线运行数据拼接为数据流，当数据流大小小于分片唯一标识信息时，选择直接一对多并行下发数据流，否则根据当前可用节点的数量对该数据流进行切分，并行下发多个数据分片；

模块5、运用零拷贝技术发送数据，通过直接内存访问将磁盘上的数据流S拷贝到系统内核缓冲区中，再将内核缓冲区中的数据直接拷贝至socket缓冲区中，通过DMA将数据拷贝给协议栈从而实现数据的发送；

模块6、若可用节点接收到的数据刚好等于数据文件属性信息中的文件大小，则对数据进行校验和持久化处理；若收到数据大小小于文件大小，则将接收到的部分分片转发给其余可用节点，同时接收其余可用节点发来的其他部分数据分片；

模块7、可用节点收到完整数据分片后通过拼接还原数据流，再对数据流进行存储处理，当所有可用节点都完成存储处理后，再次执行该模块3，直到处理完全部该在线运行数据。