[发明专利]路由规划方法、装置及电子设备

说明书

本发明提供了一种路由规划方法、装置及电子设备，该方法包括：获取目标路由器的目的地址路由及目标路由器的相邻路由器；将目标路由器的目的地址路由及目标路由器的相邻路由器输入预先训练得到的深度学习模型，基于预先训练得到的深度学习模型得到目标路由器的各可执行动作对应的衡量值；其中，可执行动作包括目标路由器的下一跳路由器和/或目标路由器到目的地址路由的各个路径；基于衡量值确定目标路由器的目标执行动作。本发明提升了路由规划的可靠性。

技术领域

本发明涉及计算机技术领域，尤其是涉及一种路由规划方法、装置及电子设备。

背景技术

随着的飞速发展，用户数量迅速增加，新的网络应用不断涌现，使得网络流量急剧增加，由此引发的网络拥塞己经成为制约网络发展和应用的瓶颈问题，信息拥塞是影响网络服务质量的主要原因，有效地解决拥塞问题对于提高网络性能具有重要意义。SDN(Software Defined Networking)作为一种新型的网络架构，具有转发与控制分离的特性，集中式控制也给网络管理带来了极大的便利，如何为数据包找到合适的转发路径，充分高效地利用SDN中每条数据链路，是当前研究的热点课题。然而，现有的路由规划技术是基于强化学习算法计算衡量值，难以应用于高维状态空间和连续状态空间的问题。因此，现有的路由规划方法还存在可靠性低的问题。

发明内容

本发明实施例的目的在于提供一种路由规划方法、装置及电子设备，能够提升路由规划的可靠性。

第一方面，本发明实施例提供了一种路由规划方法，包括：获取目标路由器的目的地址路由及所述目标路由器的相邻路由器；将所述目标路由器的目的地址路由及所述目标路由器的相邻路由器输入预先训练得到的深度学习模型，基于所述预先训练得到的深度学习模型得到所述目标路由器的各可执行动作对应的衡量值；其中，所述可执行动作包括所述目标路由器的下一跳路由器和/或所述目标路由器到所述目的地址路由的各个路径；基于所述衡量值确定所述目标路由器的目标执行动作。

在可选的实施方式中，所述深度学习模型包括Seq2seq模型；所述可执行动作包括所述目标路由器的下一跳路由器；所述基于所述预先训练得到的深度学习模型得到所述目标路由器的各可执行动作对应的衡量值的步骤，包括：将所述目标路由器的各相邻路由器作为所述目标路由器的下一跳路由器；基于预先训练得到的所述Seq2seq模型确定所述目标路由器到各所述下一跳路由器产生的衡量值。

在可选的实施方式中，所述可执行动作包括所述目标路由器到所述目的地址路由的各个路径；所述基于所述预先训练得到的深度学习模型得到所述目标路由器的各可执行动作对应的衡量值的步骤，包括：基于预先训练得到的所述Seq2seq模型确定所述目标路由器到所述目的地址路由的各个路径产生的衡量值。

在可选的实施方式中，所述Seq2seq模型的训练过程包括：将目标训练样本输入Seq2seq模型，基于所述目标训练样本对Seq2seq模型进行迭代训练，直至训练结束，得到训练后的Seq2seq模型；其中，所述目标训练样本包括标注有所述目标路由器到各所述下一跳路由器产生的衡量值的样本和/或标注有所述目标路由器到所述目的地址路由的各个路径产生的衡量值的样本，所述目标训练样本标注的衡量值是预先基于强化学习算法得到的环境对动作的奖励。

在可选的实施方式中，所述基于所述衡量值确定所述目标路由器的目标执行动作的步骤，包括：基于预设的第一贪婪策略算式确定所述衡量值最大时对应的目标执行动作，所述预设的第一贪婪策略算式为：

其中，Q(s_t,a_t)为所述衡量值，a_t为所述目标执行动作，s_t为所述目标路由器的当前网络状态。

在可选的实施方式中，所述基于所述衡量值确定所述目标路由器的目标执行动作的步骤，包括：基于预设的第二贪婪策略算式确定所述衡量值最大时对应的目标执行动作，所述预设的第二贪婪策略算式为：