[发明专利]一种基于强化学习的土地规划优化算法

权利要求书

1.一种基于强化学习的土地规划优化算法，其特征在于：具体按以下步骤执行，

S1: 将地图上自然保护区、耕地、基本农田、已建项目的坐标定义为多边形，多个多边形组成多边形集合，不同规划和土地类型对应的多边形集合对应相应的优先级系数；

S2: 首先根据报建项目坐标，在地图上根据坐标进行识别，并且标注多边形，多个多边形组成一个目标集合，将目标集合与地图上已存在的其他多边形进行空间压盖以及邻近分析，根据压盖宗地面积、邻近宗地距离、不同宗地的优先级系数，计算得分函数V0；根据已建项目的初始坐标（X0, Y0）形成系统初始状态S(0) = (X0, Y0)；

S3: 计算某一状态S_t下得分函数如式（1）；

式（1）

其中是状态下的得分值，P_i是目标集合与宗地E_i的压盖面积，T_j是目标集合和宗地E_j的邻近距离，和是权重系数，如不考虑邻近的情况，设置为0，和分别为宗地E_i和E_j的优先级系数；通过计算目标多边形集合与宗地E_i多边形集合的交集，再计算交集部分的面积P_i；P_i乘以宗地E_i的优先级系数，再进行逐项求和，得到，计算目标多边形集合与宗地E_j的最短距离，如果距离小于阈值，则设置邻近距离T_j值为某一正数，以识别目标与宗地E_j过于邻近的情况，T_j乘以宗地E_j的优先级系数，再进行逐项求和，得到；

S4:目标集合的动作集合是一个离散集合，定义为action={M东，M西，M南，M北}，分别表示目标集合向东西南北四个方向移动M米，或者使用经纬度为单位；

S5:设置强化学习的学习率为lr，回报延迟参数为gamma，贪心策略系数为e_greedy，每次根据贪心策略，从行动集合action中选择期望回报率最好的行动，或者是随机选择一个行动;

S6:目标集合完成一个动作a后，系统从状态St进入一个新状态St+1；此时目标的坐标位置从（Xt, Yt）移动到（Xt+1, Yt+1），则该动作a的回报函数如式（2）：

R(a) = V(S(t)) - V(S(t+1))-ʋ(t+1) 式（2）

其中ʋ是惩罚系数，用于在算法中减少宗地移动步数；t+1表示t之后的下一步搜索移动的距离绝对值；

S7:基于当前状态s，以及每个动作a的回报函数R(a)，更新状态-动作函数Q(s,a)，如式（3）：

式（3）

其中Q(s,a)是当前状态-动作函数值，new Q(s,a)是根据动作a以及计算最大奖励后更新的回报函数后的状态-动作函数值，lr是学习效率，gamma是折扣因子，是给定状态和行动下获得的最大奖励，lr越大，学习速度越快，gamma越小，旧Q值占比越大；或者通过强化学习领域通用的蒙特卡洛方法、时序差分方法或者DQN方法来更新策略集合；

经过S1到S7的搜索后，如果在某一状态，压盖得分函数V(St)的值小于等于某阈值vt，则认为搜索状态达到终止态，将阈值vt设为0，如式（4）；

V(St) ≤vt 式（4）。

2.根据权利要求1所述的一种基于强化学习的土地规划优化算法，其特征在于：河流、水道或道路的线型工程先计算出现压盖的段落，将存在压盖的部分独立为单独的多边形，再执行步骤S1-S7进行局部优化,完成优化后，将修改后的段落和原段落连接起来，恢复项目的完整性，具体按以下步骤执行：

S2.1:计算线型工程河流、水道或道路的线型工程先计算出现压盖的段落目标集合地块存在压盖的区域，得到多个子目标多边形到，

S2.2:记录子目标多边形和原目标多边形的公共顶点集合；

S2.3:对于子目标多边形，使用算法步骤S1到S7进行优化，完成后得到新的多边形；

S2.4:根据公共顶点集合，将与原目标多边形的公共顶点连接，并替换中其他顶点，恢复线型工程目标多边形。