[发明专利]一种转发和控制可定义的协同流量调度方法与系统

说明书

本发明公开了一种转发和控制可定义的协同流量调度方法与系统，包括协同流量调度决策模块、可定义流量控制模块、可定义流量转发模块；协同流量调度决策模块利用分布式集群计算作业协同流量之间的依赖关系、协同流量标识，基于拓扑排序法计算协同流量转发优先级得到调度策略；可定义流量控制模块接收调度策略，得到流表；采集网络资源度量数据，进行同类项合并和降维分析得到网络资源度量数据；可定义流量转发模块接收并检查可定义流量控制模块输出的流表，将检查后的流表进行协同流量报文的转发，当报文进入可定义数据面时，对报文进行解包，并按照优先级类型进行转发；收集网络资源度量数据，并输入至可定义流量控制模块。

技术领域

本发明属于计算机网络流量调度技术领域，尤其涉及一种转发和控制可定义的协同流量调度方法与系统。

背景技术

具备可编程能力的网络设备应用到越来越多的经典网络环境中，为网络设计和运维人员提供了更加丰富、更加灵活的网络统计信息。同时，也为网络运维人员提供了更加方便的网络应急调整能力和网络环境优化能力。

在网络设备不断进化和发展的同时，数据中心或者分布式计算环境的软硬件和数据传输规模也在持续发展和扩张。为了解决具备严格依赖关系的协同流量的传输问题，减少协同流量的总体传输时间和平均传输时间，将具备可定义能力的网络设备应用到该场景下，较大的延展了该网络场景下的调度的丰富度和可能性。

在集群计算场景中，若一个通信阶段由两组机器相互交织的流组成，且优化目标一致，则被定义为协同流量。当网络中出现拥塞时，单独考虑一个网络端口或者一个协同流量的传输带来的减少任务整体完成时间的收益是十分受限的。所以本文提出了一种转发和控制可定义的协同流量调度系统，用来从任务整体的依赖关系入手，优化协同流量的传输效率，提升分布式集群计算任务的整体完成效率。

发明内容

本发明的目的是针对现有技术不足，提出了一种转发和控制可定义的协同流量调度方法与系统。本发明填补了协同流量调度系统领域的技术空白，通过改进后的拓扑排序算法处理不同计算阶段、通信阶段之间的依赖关系，通过策略生成组件将协同流量优先级转变为受可定义流量转发模块功能限制的可执行调度规则，该调度规则由可定义流量控制模块生成流表，重构传统流表的包头域和动作表，将协同流量的两种优先级模式及其转发限制条件配置到可定义流量转发模块进行报文的匹配和转发，并在可定义流量转发模块实现无感网络资源度量。

本发明是通过以下技术方案来实现的：本发明实施例的第一方面提供了一种转发和控制可定义的协同流量调度系统，包括协同流量调度决策模块、可定义流量控制模块、可定义流量转发模块；

所述协同流量调度决策模块利用分布式集群计算作业协同流量之间的依赖关系、协同流量标识，利用不基于某一偏序生成集合全序的拓扑排序法和基于阈值的优先级并项操作计算协同流量转发优先级，得到调度策略；

所述可定义流量控制模块接收协同流量调度决策模块输出的调度策略，得到流表；采集网络资源状态信息，进行同类项合并和降维分析得到网络资源度量数据；

所述可定义流量转发模块接收并检查可定义流量控制模块输出的流表，将检查后的流表进行协同流量报文的转发，当报文进入可定义数据面时，对报文进行解包，并按照优先级类型进行转发；收集网络资源度量数据，并输入至可定义流量控制模块。

本发明实施例的第二方面提供了一种转发和控制可定义的协同流量调度方法，应用于上述的转发和控制可定义的协同流量调度系统，具体包括以下步骤：

（1）获取分布式集群计算作业各计算阶段的依赖关系，基于拓扑排序算法计算各计算阶段的优先级顺序，基于优先级顺序根据交换机硬件设备限制生成并下发协同流量调度策略；

（2）接收协同流量调度策略，并生成可定义流量转发模块可识别的流表；同时定时获取网络资源度量数据，并对数据进行同类项合并以及降维分析处理；