[发明专利]基于深度增强学习的后5G前传网时间同步方法及装置

权利要求书

1.一种基于深度增强学习的后5G前传网时间同步方法，其特征在于，包括：

获取同步业务请求信息以及网络资源状态信息；

将所述同步业务请求信息以及所述网络资源状态信息发送给预先训练的深度增强学习路由优化模型，根据所述深度增强学习路由优化模型的学习结果获取最小非对称延迟路由；

获取主时钟与从时钟时间，并计算主时钟与从时钟的时间误差；

当所述时间误差保持在预设范围内，则基于所述最小非对称延迟路由为所述同步业务请求信息分配网络资源，生成同步服务结果；

其中，所述深度增强学习路由优化模型由卷积神经网络与Q Learning构成，通过DQN自我学习训练获取具有最小不对称延迟的链路以确定所述最小非对称延迟路由。

2.根据权利要求1所述的方法，其特征在于，所述深度增强学习路由优化模型的训练过程包括：

初始化所述深度增强学习路由优化模型；

对于每一次训练，从初始状态开始，根据最大Q值的原则迭代选择路由，直到获得最小非对称延迟路由。

3.根据权利要求2所述的方法，其特征在于，所述初始化所述深度增强学习路由优化模型包括：

输入初始数据；

根据所述初始数据构建链路时延矩阵，其中，所述链路时延矩阵中的第(i，j)个元素D_i，j指定源节点i和目的节点j单跳间的路由时延。

4.根据权利要求3所述的方法，其特征在于，所述初始数据为包含三个特征平面的二维矩阵，其中：

第一个特征面包括当前链接的状态信息，所述当前链接的状态信息包括双向连接、单向连接；

第二个特征面包括链路的特征，所述特征包括长度、折射率、环境温度、材料色散和波导色散；

第三个特征面包括链路类型，所述链路类型包括光路链路、无线链路。

5.根据权利要求2所述的方法，其特征在于，每一次训练的具体过程包括：

获取当前环境状态s_t-1，观察当前环境状态s_t-1并基于路由时延可获得最大奖励的原则选择动作a_t；

根据选定的动作a_t计算动作a_t的奖励r_t＝1/|D_up-D_down|，其中D_up是上行链路时延，D_down是下行链路时延；

获得下一环境状态s_t，并重新选择动作，直到获得路由时延可获得最大奖励原则下的最小非对称延迟路由。

6.根据权利要求1所述的方法，其特征在于，基于所述同步业务请求信息运行IEEE1588精确时钟同步协议为即将生成的同步业务服务制定时间戳并发送到目的节点。

7.根据权利要求1所述的方法，其特征在于，还包括：将同步业务请求信息发送给主时钟，获得主时钟时间。

8.根据权利要求1所述的方法，其特征在于，还包括：根据最小非对称链路延迟以及同步服务结果更新路由时延信息。

9.一种基于深度增强学习的后5G前传网时间同步装置，其特征在于，包括：

获取模块，用于获取同步业务请求信息以及网络资源状态信息；

学习模块，用于将所述同步业务请求信息以及所述网络资源状态信息发送给预先训练的深度增强学习路由优化模型，使所述深度增强学习路由优化模型获取最小非对称延迟路由；

计算模块，用于获取主时钟与从时钟时间，并计算主时钟与从时钟的时间误差；

分配模块，用于当所述时间误差保持在预设范围内，则基于所述最小非对称延迟路由为所述同步业务请求信息分配网络资源，生成同步服务结果；

其中，所述深度增强学习路由优化模型由卷积神经网络与Q Learning构成，通过DQN自我学习训练获取具有最小不对称延迟的链路以确定所述最小非对称延迟路由。

10.一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-8任意一项所述的基于深度增强学习的后5G前传网时间同步方法。