[发明专利]山区铁路线路优化的深度强化学习方法

说明书

本发明提出了一种山区铁路线路优化的深度强化学习方法，属于通信技术领域。本发明从组合优化的角度对提出了一种基于深度强化学习的山区铁路线路优化新框架，称为深度确定性政策梯度，重新设计了目标函数、环境、状态和动作，同时考虑各种对齐约束，深度确定性政策梯度模型生成铁路线形解决方案，无需预先确定交叉口或HPI的垂直点数量，也无需首先找到初始走廊。本发明深度确定性政策梯度模型生成铁路线形解决方案，无需预先确定交叉口或HPI的垂直点数量，也无需首先找到初始走廊，提高了运算效率。

技术领域

本发明属于无线通信技术领域，尤其涉及一种山区铁路线路优化深度强化学习方法。

背景技术

最近，中南大学的研究人员在考虑建设成本、地震风险和地质灾害的情况下，提出了山 区铁路线路的优化方法。一些学者在2019年结合改进的距离变换和遗传算法从各种有前途的 替代品中获得精确的比对。随后，这些学者在2019年创造性地将逐步和混合粒子群算法与遗 传算法相结合，用于山区铁路路径规划，采用逐步粒子群算法满足各种铁路约束条件，降低 综合成本。上述研究能很好地处理铁路建设成本和多种约束条件，并从环境和地质灾害两方 面考虑了其影响。一些学者考虑了地震风险和三种类型的地质灾害，即山体滑坡、泥石流和 落石，以设计更安全的铁路路线。

发明内容

本发明的目的提出了一种山区铁路线路优化的深度强化学习方法，基于深度强化学习的 山区铁路线路优化新框架，称为深度确定性政策梯度，其中我们重新设计了基于深度强化学 习算法的目标函数、环境、状态和动作，同时考虑了各种对齐约束。深度确定性政策梯度模 型生成铁路线形解决方案，无需预先确定交叉口或HPI的垂直点数量，也无需首先找到初始 走廊。为深度确定性政策梯度方法特别强调优化过程中的“策略”，就像人类一样。

为了达到上述目的，在本发明的第一个方面，提供了一种山区铁路线路优化的深度强化 学习方法，其特征在于，其包括如下步骤：

S1：将优化下的铁路路线表示为有一个N个状态过渡步骤的事件，其中状态的第i步骤 结尾的空间被定义为S；

S2：在S_i和S_i+1之间所采取的操作A_i，动作Ai从A表示的动作空间中选择；

S3：根据S_i，A_i与S_i+1的关系，计算下一个状态S_i+1；

S4：通过采取A_i操作，可以将代理的状态从S_i转换为S_i+1，Ri表示在从S_i到S_i+1的状态 过渡过程，评估其单位建设成本和其他项目的奖励；

S5：被添加到奖励中函数，其中表示生存状态，以确保代理能够在满足所有约束的同 时找到端点。

进一步地，所述S1中，第i步骤结尾的空间被定义为Si如下表示：

S＝{[x_i，y_i，h_i，x_i-1，y_i-1，h_i-1，x_i-2，y_i-2，h_i-2]^T|

x_i∈[0，W]，y_i∈[0，H]}

其中，i＝1，2，...，N；xi和yi为水平坐标；i＝1，2，...，N；χ_i和y_i为水平坐标，h_i为第 i步骤结束时代理的高度，W和H分别为水平坐标中目标区域的宽度和高度的上界。

进一步地，当i＝1时，所述代理位于铁路路线的起点。