[发明专利]一种无人机姿态训练方法及装置

说明书

本发明实施例涉及一种无人机姿态训练方法及装置，所述方法包括：获取无人机处于设定场景下的传感器信息、面板接触信息以及无人机基于控制信息在设定场景下的实际姿态信息；基于面板接触信息、实际姿态信息和目标姿态信息确定奖励信息；基于奖励信息按照最小化损失原则，对强化学习的深度神经网络进行训练，以使实际姿态快速响应目标姿态，得到训练好的深度神经网络模型，用以通过环境状态信息控制无人机的飞行姿态。通过强化学习模型直接控制无人机的动力装置，实现端到端的直接学习控制，通过强化学习使其具有智能化决策控制能力，能实现自动的姿态控制，并能够适用于更复杂的真实场景。

技术领域

本发明实施例涉及人工智能领域，尤其涉及一种无人机姿态训练方法及装置。

背景技术

自动控制系统通常都由几个控制环来组成，“内环”用来进行底层的控制，如稳定控制等，“外环”用来做任务级控制，如路径控制等。对于一般的无人机控制来讲，也主要是通过层间结合的多控制环组成，每个控制环使用PID控制器进行控制。但是一般来讲，多环控制需要人为进行参数整定，当面对环境参数变化时，多环控制器就有可能变得不稳定，同时参数整定需要极富相关领域知识，调整难度较大。集成化、智能化的无人机控制也变得越来越重要，而目前兴起的强化学习(RL)方法在机器人控制领域有很好的表现，特别是在任务决策方面，而目前还没有真实的针对无人机“内环”控制的相关实体训练装置和方法，大部分相关工作也都是在模拟阶段，而模拟和真实环境存在模型迁移问题，也即是“realitygap”问题。

发明内容

本发明实施例提供了一种无人机姿态训练方法及装置，可以收集无人机与面板接触信息、目标状态信息、无人机内部传感器信息，然后利用该信息，通过迁移后的强化学习模型直接控制无人机的动力装置，实现端到端的直接学习控制，通过强化学习使其具有智能化决策控制能力，能实现自动的姿态控制，并能够适用于更复杂的真实场景。

第一方面，本发明实施例提供一种无人机姿态训练方法，包括：

获取无人机处于设定场景下的传感器信息、面板接触信息以及无人机基于控制信息在所述设定场景下的实际姿态信息；

基于面板接触信息、实际姿态信息和目标姿态信息确定奖惩信息；

基于所述奖惩信息按照最小化损失原则，对强化学习的深度神经网络进行训练，强化学习方法采用两部分网络，策略网络通过状态信息直接输出控制信息，评价网络通过奖惩信息评价策略网络，使得策略网络更新以获取更高的奖励。以控制所述实际姿态快速响应所述目标姿态，得到训练好的深度神经网络模型用以通过环境信息控制所述无人机的飞行姿态。

在一个可能的实施方式中，所述面板接触信息通过以下方式获取：

将所述无人机放置于方盒中进行姿势训练，并限定所述无人机在所述方盒中的运动范围，其中，所述方盒包括六个由金属材料构成的面，且每个面之间通过绝缘片阻隔，所述无人机通过连接杆连接，且连接杆与每个面带有不同的电极；

通过所述连接杆上的电极获取面板接触信息。

在一个可能的实施方式中，所述基于面板接触信息、实际姿态信息和目标姿态信息确定奖惩信息，包括：

当所述无人机与方盒存在接触时，将所述面板接触信息作为奖惩信息；

当所述无人机与方盒不存在接触时，将实际姿态信息和目标姿态信息之间的差异信息作为奖惩信息。

在一个可能的实施方式中，所述传感器信息至少包括以下之一：

无人机的姿态、陀螺仪、位置、方位、加速度、气压；

所述控制信息包括：所述无人机的四个电机的动力输出。

在一个可能的实施方式中，