[发明专利]一种人机自主智能协同的跟踪方法

权利要求书

1.一种人机自主智能协同的跟踪方法，其特征在于，包括以下步骤：

1)建立人机协同场景链式模型：根据马尔科夫链模型建立一个五元组；

2)根据目标要求，进行人工示教，得到多个策略，构成训练集，所述策略为智能体的某一状态对此状态下所有可能的动作的映射；

3)智能体获取策略，并对其进行离散采样，分别提取每个策略中各个动作的参数数值和频率，进而得到智能体不同状态下每个动作的近似概率分布；

4)通过近似概率分布以及状态回报得到对应动作的奖励值，进而得到奖励函数；

5)基于奖励函数训练最优策略；

6)对最优策略的性能进行测试：依据评价函数判断最优策略是否满足要求，即将评价函数与阈值比较，若不满足要求，则执行步骤7)，否则，执行步骤8)；

7)将最优策略加入训练集中，并修改估计参数，返回步骤4)重新估计奖励函数；

8)提取最优策略的偏好；

9)根据最优策略的偏好判断该策略是否存在部分优于现有策略，如果是，则将该策略加入现有策略，组成策略集，并修改估计参数，返回步骤4)，否则，舍弃该策略；若连续舍弃次数满足设定次数，则执行步骤10)，否则，修改估计参数，返回步骤4)；

10)智能体根据最优策略的偏好进行策略集中的策略分类，完成模型构建，智能体根据模型中的策略进行自主跟踪。

2.根据权利要求1所述的一种人机自主智能协同的跟踪方法，其特征在于，所述五元组为(S,A,P,R,γ)，其中，集合S表示智能体当前的状态集，集合A表示智能体下一时刻动作集，P为A中各种动作的概率，R为奖励函数，γ∈(0,1)为折扣系数，用于计算累计奖励值。

3.根据权利要求1或2所述的一种人机自主智能协同的跟踪方法，其特征在于，所述智能体状态为(d,v,α,β,θ)，其中，d为智能体本身与目标的相对距离，v为智能体自身速度，α,β,θ分别为智能体本身与目标之间的空间角度；

所述动作为(μ,ω,δ)，其中，μ为智能体执行动作的线加速度，ω为智能体执行动作的角加速度，δ为执行动作的时间。

4.根据权利要求1所述的一种人机自主智能协同的跟踪方法，其特征在于，所述步骤4)具体为：

通过近似概率分布以及状态回报得到对应动作的奖励值：

其中为动作μ_t的奖励值，为进入状态s_t+1获得的估计回报，为状态s_t+1再进行状态转移获得的估计回报，f(μ_(t+1)i)为近似概率分布；

根据奖励值，可以得到当前状态下奖励最大的前n个动作，将除该n个动作以外的动作概率置零，并将置零的概率加到该n个动作概率上，根据奖励值，可以获得奖励函数：

P(μ_t|s_t)为在s_t状态下动作μ_t的概率。

5.根据权利要求1所述的一种人机自主智能协同的跟踪方法，其特征在于，所述步骤5)中通过强化学习算法对五元组中的数据进行训练，得到最优策略。

6.根据权利要求1所述的一种人机自主智能协同的跟踪方法，其特征在于，所述评价函数为：

f(x)＝g(x)+h(x)

其中，f(x)为评价函数，g(x)表示当前策略对目标的完成度，h(x)表示当前策略完成过程中产生的代价，g(x)的值和h(x)的值均通过离散采样得到。

7.根据权利要求1或4所述的一种人机自主智能协同的跟踪方法，其特征在于，所述估计参数包括：状态回报、动作个数n以及折扣系数γ。

8.根据权利要求1所述的一种人机自主智能协同的跟踪方法，其特征在于，对于一个目标，可以将其分解为多个并列的子目标或者多个按序进行的分目标，针对每个子目标或分目标均设计一个评价函数，用于衡量最优策略在子目标或分目标上的完成情况，所述最优策略的偏好为其子目标或分目标的评价函数的值集合。

9.根据权利要求1所述的一种人机自主智能协同的跟踪方法，其特征在于，所述策略集为包含多种不同策略、每种策略的判定条件、策略的子目标或分目标评价值的数据集合。