[发明专利]一种基于深度强化学习的空间搜索方法及设备

权利要求书

1.一种基于深度强化学习的空间搜索方法，其特征在于，包括如下步骤：

S1：获取空间数据信息，建立实际空间搜索模型；

S2：根据建立的所述空间搜索模型中的参数制定空间搜索路径规划结果的评价函数；

S3：根据所述空间搜索模型，对路径规划的收益或对决策或对收益和决策共同建模；

获取当前时刻的空间搜索状态特征，并输入深度神经网络中，根据神经网络输出的决策或预期收益最高的行动进行下一步空间搜索更新轨迹；

S4：根据评价函数计算实际收益，采用强化学习方法迭代训练神经网络获取损失函数；

S5：通过反向传播训练神经网络，经过多次迭代，将训练收敛的神经网络作为空间搜索路径规划决策模型输出。

2.根据权利要求1所述的空间搜索方法，其特征在于，在步骤S1模型的构建中，对于欧式空间可通过多种神经网络模型对空间搜索路径优化收益或决策建模，例如通过卷积神经网络对欧式空间结构化信息进行收集挖掘或者利用循环神经网络对时间上前后状态之间的相互影响进行建模；

对于非欧空间则通过图神经网络构建模型。

3.根据权利要求1所述的空间搜索方法，其特征在于，所述评价函数根据现实需求进行制定，通过实际的空间参数计算时空覆盖效率，得到各时间段的空间搜索收益。

4.根据权利要求1或2所述的空间搜索方法，其特征在于，在所述评价函数的制定过程中，根据实际空间参数的重要性，构建该参数的重要性权重并进行时空覆盖率的计算，得到结合空间参数重要性的评价函数。

5.根据权利要求1所述的空间搜索方法，其特征在于，步骤S3中当前状态的输入特征向量的获取包括根据不同区域时间的自由特征利用加权求和或平均的方式获取代表当前状态的空间搜索状态特征向量或根据特征类别通过OneHot向量的方式表示。

6.根据权利要求1所述的空间搜索方法，其特征在于，所述损失函数的构建根据实际收益的分布类型采用不同的计算方式，包括绝对值损失函数、平方差损失函数、SmoothL₁Loss、交叉熵损失函数或能够求取导数的损失函数。

7.根据权利要求1所述的空间搜索方法，其特征在于，在步骤S4中对网络模型进行强化学习训练获得损失函数时，根据建模类型选取不同的强化学习算法，对收益建模的神经网络采用Q-Learing或SARSA算法进行训练；对决策建模的神经网络的训练采用REINFORCE算法；对收益和决策同时建模的神经网络的训练采用演员-评论员算法。

8.根据权利要求1所述的空间搜索方法，其特征在于，在利用反向传播训练神经网络的过程中，通过随机梯度下降法或基于梯度一阶导数二阶导数的快速下降法或对重点区域时间段设定样本权重，根据样本权重进行梯度分配，来训练神经网络。

9.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与存储器连接；

所述处理器，用于调用并执行所述存储器中的计算机程序，并执行如权利要求1-8任一所述的基于深度强化学习的空间搜索方法；

所述存储器用于存储计算机程序。