[发明专利]基于收发包协同的集群计算流量仿真方法、系统与装置

说明书

本发明公开了一种基于收发包协同的集群计算流量仿真方法、系统与装置。本发明采用有向无环图对集群计算的计算过程和通信过程进行建模，可由用户按需定义计算阶段和通信阶段的数据特征，同时本系统支持在用户设定的约束条件下批量生成实验样本，包括有向无环图及其通信特征的生成。此外，本发明基于发包器和收包器的协同机制，定义流量传输协议，除生成符合数据特征的流量数据外，还可以实现动态的仿真任务调度，在保证实验效率的同时，更加真实的模拟了集群计算流量在网络中的传输过程。

技术领域

本发明属于计算机网络流量仿真技术领域，尤其涉及一种基于收发包协同的集群计算流量仿真方法、系统与装置。

背景技术

数据中心网络的流量调度技术目前得到了越来越多的关注，尤其是随着人工智能和大数据智能技术的发展，数据中心网络中的数据传输体量越来越大，应用要求的传输速度和时效性越来越高，即便是在网络硬件设备不断更新的情况下，数据在网络中的传输速度依旧成为制约着大规模数据应用的瓶颈之一。

优化网络传输能力主要从两个方面着手，一是网内计算等研究方向通过聚合传输数据以达到减少数据量的目的。二是通过流量调度策略，使得具备依赖关系的流量按照先后顺序进行转发，以达到全局最优。

上述两种研究技术都需要流量数据以及仿真环境以支撑技术研究和得到效果反馈。如果从现有集群计算框架中拆分通信代码进行改造，加入研究需要的特征标签需要投入大量的时间和精力，甚至对于不开源的项目框架，改造源代码的方案是行不通的。采用聚类方式实现流量的区分精度和时效性难以保证。

发明内容

本发明的目的是针对现有技术不足，提出了基于收发包协同的集群计算流量仿真方法、系统与装置。本发明填补了具备依赖关系的流量调度仿真领域的技术空白，通过发包器和收包器的协同，动态的更新全局依赖关系，更加真实及时的启动不同流量仿真任务阶段。收包阶段的统计可以作为调度策略的效果反馈，实现实验的闭环。采用SDN交换设备可以支持更加灵活的转发策略。

本发明是通过以下技术方案来实现的：本发明实施例的第一方面提供了一种基于收发包协同的集群计算流量仿真方法，所述方法包括如下步骤：

（1）基于有向无环图，通过自定义或约束条件构建仿真任务；

（2）发包器检测任务描述数据的完整性，从仿真任务库中选择仿真任务并启动，将预设的调度策略传输给软件定义网络组件，然后选择当前没有前置依赖的通信阶段任务进行流量的构建传输仿真；同时通过监听端口接收来自收包器组件的反馈信息；

（3）软件定义网络接收调度策略，解析发包器组件发出的报文后，并进行报文重组转发，实现报文的网络传输；

（4）收包器在接收到软件定义网络转发的报文，并进行报文解析；在收包器接收到发包器传输的流量传输结束报文后，向发包器的监听端口发送流量结束确认报文。

进一步地，通过自定义构建仿真任务具体为：定义不同计算阶段和通信阶段之间的依赖关系及其数据特征，并对描述依赖关系的拓扑结构是否具备离群点和环路的非法结构进行检测，每个通信阶段关联一个流量模板，输出仿真任务的拓扑结构，即得到自定义的仿真任务。

进一步地，流量模板通过自定义或基于约束条件构建；通过约束条件构建流量模板的过程具体为：在包括流量大小、并行流量数量范围、并行流量方差以及单个报文大小的均值及其方差的约束条件下，输出符合约束条件的流量模板。

进一步地，通过约束条件构建仿真任务具体为；在包括流量大小、并行流量数量范围、并行流量方差以及单个报文大小的均值及其方差、计算节点数量以及通信阶段数量的约束条件下，基于拓扑排序的逆过程生成不含离群点以及环路的任务拓扑结构，并根据通信阶段数量生成符合流量约束条件的流量模板，输出描述任务的拓扑结构，即得到基于约束条件构建的仿真任务。

进一步地，所述步骤（2）具体为：