[发明专利]一种通过强化学习技术实现无人机自主飞行的方法

权利要求书

1.一种通过强化学习技术实现无人机自主飞行的方法，其特征在于，包括如下步骤：

步骤一、获取模拟数据集(s_t,a_t,r_t)∈D^SIM和真实数据集(s_t,a_t,r_t)∈D^RW，其中，s_t为输入状态向量，a_t为输入动作向量，r_t为奖励；

步骤二、输入状态向量[s_t-3,s_t-2,s_t-1,s_t]至卷积神经网络提取图像特征，然后与输入的动作向量a_t进行整合，提取动作特征；

步骤三、使用Q-learning训练一个深度神经网络Q-function Q_θ(s_t,a_t)；

步骤四、构建现实世界策略学习网络，通过迁移学习的方法，将深度神经网络Q-function Q_θ(s_t,a_t)训练好的参数按照迁移至现实世界策略学习网络中，训练行动条件奖励预测函数

步骤五、输入状态向量[s_t-3,s_t-2,s_t-1,s_t]和H个未来计划行动向量的序列至通过一个长短期记忆循环神经网络整合之后，并在将来的每个时间点输出预测的奖励

步骤六、根据预测的奖励选择接下来的动作实现自主飞行。

2.根据权利要求1所述的一种通过强化学习技术实现无人机自主飞行的方法，其特征在于：所述深度神经网络Q-function Q_θ(s_t,a_t)中，通过使模拟数据集(s_t,a_t,r)∈D^SIM中的所有状态，动作，奖励，下一状态元组的Bellman误差最小化来更新参数，公式如下：

其中，γ表示折扣因子。

3.根据权利要求1所述的一种通过强化学习技术实现无人机自主飞行的方法，其特征在于：所述深度神经网络Q-function Q_θ(s_t,a_t)中，通过找到使深度神经网络Q-functionQ_θ(s_t,a_t)最大化的动作来选择最佳动作，公式如下：

4.根据权利要求1所述的一种通过强化学习技术实现无人机自主飞行的方法，其特征在于：使用真实数据集(s_t,a_t,r)∈D^RW更新行动条件奖励预测函数参数，以最小化奖励预测误差，公式为：