[发明专利]基于深度强化学习的固定翼无人机群避碰方法及装置

说明书

本发明公开一种基于深度强化学习的固定翼无人机群避碰方法及装置，该方法步骤包括：S1.建立无人机运动学模型以及D3QN，并使用各僚机与环境交互过程中的历史交互数据更新网络参数，训练形成D3QN模型，其中交互过程中根据环境状态构建僚机与长机之间的联合状态，同时进行态势评估构建得到局部地图，输入至D3QN模型得到各僚机的控制指令输出；S2.各僚机分别实时获取状态信息构成当前僚机与长机之间联合状态，实时进行态势评估构建得到局部地图；将实时构建的联合状态、局部地图输入至D3QN网络模型得到各僚机的控制指令。本发明具有实现方法简单、可扩展性好，能够实现固定翼无人机群集控制，同时避免碰撞等优点。

技术领域

本发明涉及固定翼无人机群集控制技术领域，尤其涉及一种基于深度强化学习的固定翼无人机群避碰方法及装置。

背景技术

随着无人机系统技术的不断发展，无人机在灾难搜救、地理测绘、军事侦查等各类军事行动和民用任务得到了广泛的应用。近年来，无人机的运用样式已逐步从单平台转向多平台、朝着集群化的方向发展。尽管近年来无人机在操作自主性方面取得了长足的进步，但在动态环境下高效便捷地操控无人机集群群集仍然面临较大挑战。

目前无人机群集控制方法可分为两大类：规则型方法和学习型方法，其中规则型方法的灵活性和扩展性较差，学习型方法可以解决上述问题，尤其是强化学习型方法近年来得到了广泛的关注，也取得了较为成功的应用。但现有技术中基于强化学习的无人机群集控制解决方案通常都是主要针对旋翼无人机，而与旋翼无人机不同，由于固定翼无人机的飞行动力学的非完整约束，固定翼无人机群集控制更加复杂，适用于旋翼机的控制策略并不能直接应用于固定翼无人机群集控制。

有从业者提出使用深度强化学习方法解决固定翼无人机群集控制问题，但是该研究尚处于比较初级的阶段，均是通过简化问题来实现，一般都是假设无人机在不高度层飞行，不考虑无人机之间的碰撞问题，但在某些实际应用场景中，无人机编队需要在相同高度层飞行以遂行任务，避免机间碰撞是一个必须考虑的问题，而采用上述简化的控制方式来实现固定翼无人机群集控制，无人机之间会存在较大的碰撞风险。因此，亟需提供一种固定翼无人机群集控制避碰方法，能够实现定翼无人机群集控制，同时有效避免机间碰撞。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、可扩展性好，能够实现固定翼无人机群集控制，同时避免碰撞的基于深度强化学习的固定翼无人机群避碰方法及装置。

为解决上述技术问题，本发明提出的技术方案为：

一种基于深度强化学习的固定翼无人机群集控制避碰方法，步骤包括：

S1.模型训练：建立无人机运动学模型以及用于输出无人机控制指令的D3QN，并使用各僚机与环境交互过程中的历史交互数据更新所述D3QN的网络参数，训练形成D3QN模型，其中所述交互过程中，由各僚机分别获取自身及长机的状态信息构成当前僚机与长机之间的联合状态，根据获取的僚机自身及邻近僚机的状态信息进行态势评估以评估无人机间的碰撞风险，并构建得到以当前僚机为中心的局部地图；将所述联合状态、局部地图输入至所述D3QN模型得到各僚机的控制指令输出，并根据所述无人机运动学模型得到长机以及僚机的下一时刻状态；

S2.在线执行：各僚机分别实时获取自身及长机的状态信息构成当前僚机与长机之间联合状态，根据实时获取的自身及邻近僚机的状态信息进行所述态势评估，实时构建得到以当前僚机为中心的局部地图；将实时构建的所述联合状态、局部地图输入至所述D3QN网络模型得到各僚机的控制指令输出，所述控制指令包括滚转角控制指令、速度控制指令。

进一步的，所述进行态势评估的步骤包括：

确定无人机前部、尾部危险区域的几何形状以及对应的半径；