[发明专利]多智能体局部交互路径规划方法、装置、设备及存储介质

权利要求书

1.一种多智能体局部交互路径规划方法，其特征在于，所述方法包括：

获取目标区域内各智能体的当前位置和目标位置；

根据各智能体的当前位置和目标位置通过各智能体对应的基于局部交互式多智能体四阶梯经验池的DDPG模型确定各智能体的规划路线；

根据各智能体的路径规划路线控制对应的智能体移动至所述目标位置。

2.如权利要求1所述的方法，其特征在于，所述获取目标区域内各智能体的当前位置和目标位置的步骤之前，所述方法还包括：

根据当前动作策略和预设探索噪声通过各智能体对应的初始基于局部交互式多智能体四阶梯经验池的DDPG模型控制设定区域内的各智能体移动；

实时获取各智能体移动过程中的经验信息，并将所述经验信息添加至对应的经验缓冲池；

根据四阶梯采样机制实时控制各智能体从对应的经验缓冲池中采集训练经验信息；

根据所述训练经验信息训练对应的初始基于局部交互式多智能体四阶梯经验池的DDPG模型，并在满足预设条件时，获得各智能体对应的基于局部交互式多智能体四阶梯经验池的DDPG模型。

3.如权利要求2所述的方法，其特征在于，所述经验缓冲池包括静态优秀轨迹经验缓冲池、碰撞轨迹经验缓冲池、动态优秀轨迹经验缓冲池和实时轨迹经验缓冲池；

所述根据四阶梯采样机制实时控制各智能体从对应的经验缓冲池中采集训练经验信息，包括：

获取各智能体移动过程中预设次数的平均奖励，并根据所述平均奖励确定各智能体的训练阶段判断指标；

根据前后步进关系奖励机制确定各智能体在移动过程中获得的当前奖励；

根据所述各智能体的训练阶段判断指标、所述当前奖励和预设指标阈值判断各智能体处于的训练阶段，并根据所述训练阶段确定对应智能体在各经验缓冲池的采样比例；

根据所述各智能体在各经验缓冲池的采样比例从各智能体对应的静态优秀轨迹经验缓冲池、碰撞轨迹经验缓冲池、动态优秀轨迹经验缓冲池和实时轨迹经验缓冲池中采集训练经验信息。

4.如权利要求3所述的方法，其特征在于，所述根据所述各智能体的训练阶段判断指标、所述当前奖励和预设指标阈值判断各智能体处于的训练阶段，并根据所述训练阶段确定对应智能体在各经验缓冲池的采样比例，包括：

获取各智能体的静态优秀轨迹经验缓冲池的静态优秀轨迹平均奖励；

在所述训练阶段判断指标小于预设指标阈值且所述当前奖励小于优秀轨迹平均奖励时，将第一预设比例作为对应的智能体处于学步阶段时在各经验缓冲池的采样比例；

在所述训练阶段判断指标大于预设指标阈值时，将第二预设比例作为对应智能体处于蹒跚阶段时在各经验缓冲池的采样比例；

在所述当前奖励大于优秀轨迹平均奖励时，将第三预设比例作为对应智能体处于酷跑阶段时在各经验缓冲池的采样比例。

5.如权利要求2所述的方法，其特征在于，所述实时获取各智能体移动过程中的经验信息，并将所述经验信息添加至对应的经验缓冲池，包括：

根据局部交互策略实时获取各智能体移动过程中的经验信息；

将所述经验信息添加至对应的初始基于局部交互式多智能体四阶梯经验池的DDPG模型的经验缓冲池。

6.如权利要求5所述的方法，其特征在于，所述根据局部交互策略实时获取各智能体移动过程中的经验信息，包括：

根据预设规则从所述各智能体中选取目标智能体；

以所述目标智能体为中心，从所述目标区域中选取处于预设范围内的若干个智能体；

根据所述目标智能体的参数和所述若干个智能体的参数确定所述目标智能体移动过程中的经验信息。

7.如权利要求6所述的方法，其特征在于，所述根据所述目标智能体的参数和所述若干个智能体的参数确定所述目标智能体移动过程中的经验信息，包括：

获取所述目标智能体与所述若干个智能体之间的距离；

根据所述距离从所述若干个智能体中选取预设数量的智能体；

根据所述目标智能体的参数和所述预设数量的智能体的参数确定所述目标智能体移动过程中的经验信息。