[发明专利]一种通过强化学习技术实现无人机自主飞行的方法

说明书

本发明涉及信息处理领域，具体是一种通过强化学习技术实现无人机自主飞行的方法，包括如下步骤：步骤一、获取模拟数据集和真实数据集；步骤二、提取图像特征和动作特征；步骤三、使用Q‑learn ing训练一个深度神经网络Q‑funct ion；步骤四、构建现实世界策略学习网络，将深度神经网络Q‑funct ion训练好的参数迁移至现实世界策略学习网络中，训练行动条件奖励预测函数；步骤五、输入状态向量和H个未来计划行动向量的序列至行动条件奖励预测函数，通过一个长短期记忆循环神经网络整合之后，并在将来的每个时间点输出预测的奖励；步骤六、根据预测的奖励实现自主飞行；该方法能够使机器人仅使用单目摄像机就可以避免碰撞以实现自主飞行。

技术领域

本发明涉及信息处理领域，具体是指一种通过强化学习技术实现无人机自主飞行的方法。

背景技术

深度强化学习算法提供了一种诱人的可能性，使机器人的感知和控制系统共同自动化，而所需的人工工程量却很少，而且通用性很高，例如，可以使用经过深度强化学习训练的卷积神经网络模型来避免碰撞，并且仅使用低成本，低功率的摄像头就能在建筑物内导航，从而使其非常适合SWaP(尺寸，重量和功率)受限的自主式飞行，但是，与所有基于学习的系统一样，所学习的策略能够推广到新情况的能力在很大程度上取决于可用于训练的数据的数量和种类，虽然从原理上说自动机器人可以直接在现实世界中收集自己的数据，但是泛化非常依赖于数据集的大小和多样性，以至于几乎总是可以通过添加更多经验来加以改进，特别是对于脆弱且对安全至关重要的系统(例如四旋翼无人机)，可能难以收集大数据集，因此，将其他更丰富的数据源集成到训练过程中是非常有利的。

模拟渲染物理场景可以提供更大的数据集，但是这类数据本质上质量较低：许多使现实世界中的自主飞行问题具有挑战性的现象，例如气流等复杂的物理因素，都很难建模或根本没有建模，而且模拟与现实世界之间的系统差异通常无法消除，本发明通过将模拟环境和真实环境的数据结合在一个混合的深度强化学习算法中，通过使用真实环境的数据来了解系统的动态，并使用模拟环境的数据来学习一个可概括的感知系统，该框架能够使机器人仅使用单目摄像机就可以避免碰撞以实现自主飞行，本发明旨在设计一种转移学习算法，其中影响无人机的物理因素主要从真实世界的数据中学习，而模拟环境则提供了可推广到新环境的视觉感知系统，从本质上讲，真实世界的经验用于学习如何完成，而模拟经验则用于学习如何进行概括，我们不是使用实际数据对深度神经网络策略进行微调，而是将模型分为感知和控制子系统，感知子系统从模拟环境传递视觉特征，而控制子系统则通过实际数据进行训练，与其他技术相比，这使我们的方法能够将经验从仿真转移并更有效地推广到新的实际环境中。

发明内容

基于以上问题，本发明提供了一种通过强化学习技术实现无人机自主飞行的方法，通过将模拟环境和真实环境的数据结合在一个混合的深度强化学习算法中，通过使用真实环境的数据来了解系统的动态，并使用模拟环境的数据来学习一个可概括的感知系统，该方法能够使机器人仅使用单目摄像机就可以避免碰撞以实现自主飞行。

为解决以上技术问题，本发明采用的技术方案如下：

一种通过强化学习技术实现无人机自主飞行的方法，包括如下步骤：

步骤一、获取模拟数据集(s_t,a_t,r_t)∈D^SIM和真实数据集(s_t,a_t,r_t)∈D^RW，其中，s_t为输入状态向量，a_t为输入动作向量，r_t为奖励；

步骤二、输入状态向量[s_t-3,s_t-2,s_t-1,s_t]至卷积神经网络提取图像特征，然后与输入的动作向量a_t进行整合，提取动作特征；