[发明专利]一种智能无人集群的状态空间构建方法及装置

说明书

本发明提供一种智能无人集群的状态空间构建方法及装置，该方法包括：根据智能无人集群中各智能无人节点与其余智能无人节点之间的相对距离和相对位置关系形成的有序数对集，描述各智能无人节点运行时任意一个时刻的状态；根据各智能无人节点运行时任意一个时刻的状态，构建智能无人集群的状态空间。本发明针对智能无人集群自身状态的连续性变化和环境状态的组合爆炸特性，采用智能无人集群中各智能无人节点与其余智能无人节点之间的相对距离和相对位置关系形成的有序数对集，来描述智能无人集群中每个智能无人节点的状态，进而构建智能无人集群的状态空间，明确了节点状态与集群状态的关系，方便表示和计算。

技术领域

本发明涉及智能无人控制技术领域，具体涉及一种智能无人集群的状态空间构建方法及装置。

背景技术

在特定的自然环境场景下，完成指定任务的一组智能无人节点间的行为协同工作，称其为智能无人集群。随着应用领域的不断扩展，智能无人集群的通信、控制和协作的难度将大幅增加，如何高效控制其中的每个智能无人节点协同完成任务是当前亟待解决的问题，良好的协同机制能够提高智能无人集群控制的灵活性，提高通信效率，保证任务的高效可靠完成。

智能无人集群的行为协同多种多样，例如智能无人机的协同搜救、协同导航、机械臂的协同装配以及移动机器人或者无人机的协同搬运等。当前对于智能无人集群行为协同的研究多是基于控制理论提出的解决方案，并没有利用强化学习方法解决集群行为协同的问题，而基于强化学习的解决方案更注重反馈机制，更利于对智能无人节点的协同控制。

虽然协同作业类型各不相同，但究其本质都是智能无人节点的行为协同，也就是智能无人集群的系统状态的改变。因而，在强化学习方法中需要确定集群的状态空间，而现有技术中尚没有一种构建智能无人集群的状态空间的方法。

发明内容

本发明实施例提供一种智能无人集群的状态空间构建方法及装置，以解决现有技术中利用强化学习方法解决集群行为协同问题时，需要构建智能无人集群的状态空间的问题。

第一方面，本发明实施例提供一种智能无人集群的状态空间构建方法，所述方法包括：

根据智能无人集群中各智能无人节点与其余智能无人节点之间的相对距离和相对位置关系形成的有序数对集，描述各所述智能无人节点运行时任意一个时刻的状态；

根据各所述智能无人节点运行时任意一个时刻的状态，构建所述智能无人集群的状态空间。

作为本发明第一方面的优选方式，描述各所述智能无人节点运行时任意一个时刻的状态时，通过下列公式对第i个智能无人节点在t时刻的状态进行描述：

n为智能无人集群中智能无人节点的总个数；

其中，{(d₁,o₁),…,(d_i-1,o_i-1),(d_i+1,o_i+1),…,(d_n,o_n)}为表示智能无人集群中第i个智能无人节点与其余n-1个智能无人节点之间的相对距离和相对位置关系的有序数对集，d_j(j＝1,…，i-1，i+1，…，n，且j！＝i)表示智能无人集群中第i个智能无人节点与第j个智能无人节点之间的相对距离；o_j＝α_i+α_j(j＝1,…，i-1，i+1，…，n，且j！＝i)表示智能无人集群中第i个智能无人节点与第j个智能无人节点之间的相对位置关系，α_i表示第i个智能无人节点的速度方向与第i个智能无人节点和第j个智能无人节点的连线方向沿顺时针方向的角度，α_j表示第j个智能无人节点的速度方向与第i个智能无人节点和第j个智能无人节点的连线方向沿顺时针方向的角度。

作为本发明第一方面的优选方式，构建所述智能无人集群的状态空间时，通过下列公式对智能无人集群的状态空间进行描述：