[发明专利]一种基于深度强化学习的多智能体导航算法

权利要求书

1.一种基于深度强化学习的多智能体导航算法，其特征在于：

一、建模

将智能体速度和角速度均进行限定，智能体当前时刻的速度信息v_t定义为：

v_t＝f(c_t,g_t,v_t-1) (1)

c_t为环境信息，g_t为目标信息，v_t-1为上一时刻的速度；

将扫描仪得到的图像信息进行特征提取，通过卷积神经网络训练得到低维环境特征x_t，x_t定义为：

x_t＝g(c_t) (2)

v_t＝f'(x_t,g_t,v_t-1) (3)

二、重要性采样：

x～p时，称为重要性权重，f(x)的数学期望看作的数学期望，从p分布中采样数据变成从q分布中采样数据；

E_x～p[f(x)]代表从分布p中取样本x送入f(x)并求期望：

Var_x～p[f(x)]＝E_x～p[f(x)²]-(E_x～p[f(x)])² (5)

目标函数为：

a_t为t时刻的动作，s_t为t时刻的状态，A^θ'为衡量在状态s_t下采取动作a_t回报的优势函数，θ'采集的样本输入到θ里面进行训练；

ASPPO期望奖励的最终目标函数为：

手动设置β值，KL为阈值；

三、加入奖惩函数

奖惩函数的具体定义为：

r_t＝r_decision+r_condition+r_time (9)

其中，

r_time0 (12)

r_t为总得分，r_decision为智能体主动选择算法得到的奖励分数，r_condition为碰撞分数，r_time为消耗时间扣除的分数，r₀为选择A*算法得到的奖励分数，r_negative为智能体发生碰撞扣除的分数，r_positive为到达目标点得到的奖励分数。